Nacido en Copenhague, Dinamarca, en 1896 Madsen se hizo actor teatral debutando en el Rønne Teater, trabajando en diferentes teatros provinciales daneses a lo largo de varios años.
En un principio, Holger-Madsen rodó todo tipo de géneros, desde la comedia a la tragedia, pero con el tiempo desarrolló un contenido y estilo propios, especializándose en los temas espirituales.
El guion fue escrito por Carl Theodor Dreyer, que colaboró hasta 1918 en cinco películas más de Holger-Madsen.
Con Pax Æterna (1917), Holger-Madsen volvió de nuevo a las ideas pacifistas durante la Gran Guerra.
En 1921 obtuvo trabajo como actor y codirector en la película de Joe May Tobias Buntschuh - Das Drama eines Einsamen.
Había estado casado con Rigmor Holger-Madsen, que escribió dos guiones en 1910 para el director Lau Lauritzen Sr.