El edificio en estilo Renacentista fue localizado en un isla del río en el lugar de un antiguo fuerte medieval.
En 1631 sirvió como cuartel general del rey Gustavo Adolfo de Suecia, donde —sin resultados— pidió asistencia a su cuñado el Elector Jorge Guillermo para la Guerra de los Treinta Años.
Federico I de Prusia hizo reconstruir el pabellón y lo amplió en 1677 y vivió aquí junto con su primera esposa Isabel Enriqueta de Hesse-Kassel.
Siendo renovado en 2004, el palacio acomoda el museo de artes con la exposición permanente "RoomArt", mostrando las artes decorativas de los periodos del Renacimiento, Barroco y Rococó.
El museo también presenta las obras maestras destacadas en diseño interior de los siglos del XVI al XVIII.