Estudió física y química en el Instituto Tecnológico de Darmstadt, donde se licenció en 1928 en fisicoquímica.

En 1930 fue nombrado profesor asistente de física en el Instituto Tecnológico de Darmstadt, cargo que tuvo que abandonar en 1935 ante las presiones del régimen nazi alemán.

Aquel mismo año aceptó el cargo de profesor visitante en la Universidad de Saskatchewan en Canadá, país donde estableció su residencia.

También realizó estudios sobre el análisis químico de objetos astronómicos como las nubes moleculares.

En su honor se bautizó al asteroide (3316) Herzberg descubierto el 6 de febrero de 1984 por el astrónomo Edward Bowell.