Se encuentra localizado en la desembocadura del río Vecht, en lo que era el Zuiderzee, a unos 15 kilómetros al sureste de Ámsterdam.
1370-1386), Alberto I de Baviera, que en esos momentos era conde de Holanda y Zelanda lo reconstruyó en el mismo lugar y con las mismas características que el antiguo.
Durante 39 años pasó sus veranos en el castillo adonde invitaba a su círculo de amigos, escritores y pintores como Joost van den Vondel, Constantijn Huygens, Gerbrand Bredero, Anna Visscher o Maria Tesselschade Visscher.
A finales del siglo XVIII, el castillo fue utilizado como prisión, y posteriormente quedó abandonado.
Pasaron otros setenta años hasta que se reunió suficiente dinero para su restauración.