En 1708 Vallø fue adquirido por el rey Federico IV, quien lo transmitió a Ana Sofía Reventlow.

Vallø consta de cuatro alas con robustas torres y está rodeada por un foso.

El ala sur, con sus robustas torres en las esquinas, y el extremo sur del ala oeste se construyeron entre 1580 y 1586 por Mette Rosenkrantz, una de las mujeres más ricas de Dinamarca en su época.

El ala central, que se conserva, fue ampliada con una planta más por Georg David Anthon en 1765.

El castillo fue devastado por un incendio en 1893, pero fue restaurado en gran parte según su antiguo diseño por Hans Jørgen Holm entre 1893 y 1904.