Ernst Berger era hijo del político demócrata cristiano Fritz Berger.
Hizo su doctorado bajo la dirección de Ernst Buschor: trabajó en el frontón este del Partenón.
Gracias a una beca del Instituto Arqueológico Alemán, viajó a Italia, Libia, Egipto y Turquía.
Después residió en el Instituto suizo de Roma.
Trabajó también en la constitución de una colección completa de moldes de las esculturas del Partenón para la Skulpturhalle de Basilea, transformándola en lugar central de la investigación sobre este edificio antiguo.