Herzog estudia en las Universidades de Friburgo, Zúrich, y de Múnich, y con el catedrático Radlkofer.

En Múnich defiende su tesis de doctorado en enero de 1903.

En 1907 trabaja como asistente de Carl Schroeter, en Zúrich.

En 1914 es profesor asistente de la Universidad de Múnich y ya obtiene el doctorado docente, y en 1925 es dcente en la Universidad de Jena como titular en la especialidad de Botánica.

Herzog realiza exploraciones en Cerdeña (1904 a 1906), Ceilán (1905-1906) y Sudamérica, por Bolivia y el NOA de Argentina (1907-1908, 1910-1912).