Su padre era el comerciante y burgomaestre de Mannheim (de 1836 a 1849) Louis Jolly (1780-1853), y su madre Marie Eleonore Jolly (1785-1859).

Su hermano, Julius August Isaak Jolly (1823-1891) fue profesor de derecho en Heidelberg y político en Baden.

En 1854 se trasladó a Múnich donde sucedió a Georg Simon Ohm, donde participó en la reorganización de la universidad técnica bávara.

Uno de sus pupilos en Múnich fue Max Planck, al que cuando este le mostró su intención de estudiar física respondió que en física estaba prácticamente todo descubierto, y que solo quedaban unos pocos huecos por cubrir.

Entre ellos se encontraban Ludwig Jolly (1843–1905), profesor de derecho administrativo en Tubinga, Friedrich Jolly (1844–1904), profesor de psiquiatría en Estrasburgo y Julius Jolly (1849–1932), profesor de sánscrito y lingüística comparativa en Würzburg.