También publicó una edición del Almagesto de Ptolomeo.
Heiberg nació en Dinamarca, hijo de Henriette Jacoba (nacido Schmidt) y Emil Theodor Heiberg.
Johan inspeccionó un manuscrito en Constantinopla en 1906, y notó que contenía trabajos matemáticos de Arquímedes desconocidos para los estudiosos de esa época.
Johan realizó su examen a simple vista, mientras que, para los análisis modernos de los textos, se han utilizado rayos x y luz ultravioleta.
El palimpsesto de Arquimedes se conserva actualmente en el Walters Art Museum en Baltimore, Maryland.