Su obra más famosa es la Biblioteca Universitaria de Fiolstræde, en Copenhague, que marcó una nueva tendencia.
El uso intensivo del ladrillo rojo en grandes edificios culturales y cívicos caracterizaría la arquitectura danesa durante varias décadas.
En los periodos de escasez laboral, asistía a clases nocturnas en la Real Academia y tomaba clases de dibujo durante el día, primero con Gustav Hetsch y más tarde con Michael Gottlieb Bindesbøll.
[2] Los primeros encargos de Herholdt fueron principalmente grandes villas y algunas casas señoriales.
El diseño neogótico que presentó fue un hito que inició una tendencia en la arquitectura danesa, caracterizada por el uso del ladrillo rojo en grandes edificios culturales y cívicos.