A invenção do ácido sulfúrico é creditada ao alquimista medieval Jabir ibn Hayyan, um árabe que se dedicou ao estudo dos elementos químicos. A evolução desse importante ácido também teve a contribuição do alquimista e médico persa do século IX, ibn Zakariya al-Razi. Foi ele quem obteve a substância pela destilação seca de minerais, por meio do sulfato de ferro, sulfato de cobre e misturas destes sais com água.
O ácido sulfúrico surgiu pelo aquecimento destes compostos. Na prática, eles deram origem ao óxido de ferro e ao óxido de cobre, liberando água e gás trióxido de enxofre, que reagem para produzir uma solução diluída de ácido sulfúrico. O processo é descrito em traduções dos tratados de alquimia islâmicos.
A produção do ácido sulfúrico também foi trabalhada por alquimistas da Europa, como o alemão do século XIII, Albertus Magnus. Ele utilizou o sulfato de zinco, o sulfato de ferro e o sulfato de cobalto para produzir tal substância.
O químico teuto-holandês, Johann Glauber, foi quem preparou o ácido sulfúrico pela combustão de enxofre com salitre (nitrato de potássio, KNO3) e com vapor d’água. Essa experiência aconteceu no século XVII. A oxidação do enxofre com a decomposição do salitre, mais água, dá origem à formação do ácido sulfúrico.
O primeiro homem a produzir ácido sulfúrico em larga escala foi o farmacêutico londrino, Joshua Ward, em 1736.