Posteriormente, en el siglo XV, se construyó el recinto interior, y las almenas del muro exterior.

Y un siglo después, se modificaron las torres del castillo.

En el momento de su máximo esplendor, el conjunto contaba por los dos recintos anteriormente comentados.

En el interior, la zona residencial contaba con una galería y una escalinata añadida posteriormente.

Durante largos periodos, fue la residencia de Carlos II y Felipe V.