El palacio se eleva sobre una colina al oeste de la villa de Bad Berleburg y está rodeado por un vasto parque arbolado.

En 1506, el condado de Wittgenstein fue dividido y el conde Johann se mudó al antiguo pabellón de caza.

En 1531, él mismo puso las bases para la ampliación a un palacio residencial poniendo la primera piedra de un nuevo edificio.

Tras una renovación en 1912, Friedrich von Thiersch añade las torres y modifica la escalera.

Hoy en día, el palacio pertenece al príncipe Gustavo de Sayn-Wittgenstein-Berleburg.