En 1903, Holger y su tercera esposa Soffi se establecieron en la zona Vesterby de Skagen en su casa denominada Villa Pax.

Luego Holger se relacionó durante un corto lapso con una mujer casada llamada Polly.

Desde 1866 a 1870 es discípulo del profesor Sørensen, para convertirse en un pintor de temas marinos.

Ungt Blod (Sangre Joven, 1876) contiene tres historias realistas de la vida contemporánea.

En sus libros continúa celebrando la vida de los pescadores y marineros, tanto en prosa o en verso, temas que eran muy populares en esa época.

En 1882 Drachmann publicó una pulida traducción o paráfrasis del Don Juan de Byron.

Su obra teatral romántica Der var engang (Había una Vez) escrita en 1885, es un gran éxito al ser representada en el Royal Theatre de Copenhague, y se convirtió en un clásico.

Su novela Med den brede Pensel (Con un Grueso Pincel, 1887) a la cual le siguió Forskrevet en 1890, la historia de un joven pintor, Henrik Gerhard, y su revuelta contra su entorno burgués.

Muy relacionada con esta novela es la obra Den hellige Ild (El Fuego Sagrado, 1899), en la cual Drachmann habla sobre sí mismo.

En esta obra autobiográfica casi no hay una historia argumetal, sino que abunda en pasajes líricos.

En 1899 escribe su obra teatral romántica Gurre; en 1900 el drama, Hallfred Vandraadeskjald; y en 1903, Det grønne Haab.