Bernstorff abandonó Dinamarca en 1770, después de ser despedido por el regente, Johann Friedrich Struensee.

La finca quedó en manos de su familia hasta 1812, pero luego fue vendida en varias ocasiones.

Estaba a punto de ser demolida en 1842, cuando Christian VIII la compró y le encargó una renovación integral al arquitecto Jorgen Hansen Koch.

De hecho, se convirtió en un refugio popular para la pareja real y su familia durante el largo reinado del Christian.

Entre los visitantes reales se encontraban, el zar Alejandro III de Rusia y el rey Eduardo VII del Reino Unido.

La mayoría de estas variedades exóticas se había marchitado para el tiempo en que Christian IX empezó a utilizar la finca en 1854.

Este encargó a Rudolph Rothe, inspector de jardines reales, sustituirlos con robles y hayas daneses, los que aún pueden verse hoy en día.