Josef Jungmann se narodil jako šesté dítě z deseti v rodině ševce v Hudlicích a byl původně určen k církevní kariéře. Jeho mladší bratr Antonín Jan Jungmann se stal lékařem a univerzitním profesorem gynekologie.
Josef v letech 1784 až 1788 navštěvoval piaristické gymnasium v Berouně, odkud přešel do Prahy, roku 1792 absolvoval piaristské gymnázium v Panské ulici na Novém Městě. Dále studoval na filozofické fakultě pražské univerzity (1792–1795) filozofii. Později (do roku 1799) studoval také práva, ale studium nedokončil. V této době působil zároveň jako soukromý učitel.
Od r. 1799 vyučoval na gymnáziu v Litoměřicích, kde se roku 1800 oženil s Johannou Světeckou z Černčic (jeho žena byla poměrně zámožná). Od roku 1800 na tamním gymnáziu vyučoval češtinu, za což nepobíral plat, a byl tak prvním učitelem češtiny v Čechách a na Moravě. Jeho nástupcem tam pak byl Jan Jodl. Dnešní litoměřické gymnázium nese jeho jméno.
Roku 1815 odešel do Prahy, kde se stal ředitelem Staročeského gymnázia. Od roku 1816 až do své smrti bydlel s rodinou v domě čp. 749/II v Široké ulici 32, která byla roku 1878 přejmenována na jeho počest na Jungmannovu ulici. Český jazyk Jungmann vyučoval také na filozofické fakultě pražské univerzity, kde se posléze stal rektorem.
Jungmann položil teoretické základy vývoji novodobé češtiny. Byl vůdčí osobností tzv. 2. (preromantické) generace obrozenců.
Jungmann je pochován na Olšanských hřbitovech.
