Se reforzó el castillo con cuatro torres y un canal.

Su hija Juana de Polanen se casó en 1403 con el alemán Engelbert I Duque de Nassau.

Su hijo Juan IV de Nassau amplió el castillo.

Enrique III de Nassau-Breda cambió el castillo a un palacio renacentista en 1536, obra de Tommaso Vincidor.

Murió en 1538 y su hijo René de Châlon terminó el castillo y construyó una capilla en 1540.