Actualmente es de propiedad privada y se encuentra cerrado al público.
En ese momento comenzaron las obras de la fortaleza actual, reutilizando materiales del antiguo castillo de Dos Hermanas, ubicado a unos seis kilómetros.
La fortaleza se convirtió con el paso del tiempo en residencia señorial.
El último duque que habitó la fortaleza, José Fernández de Velasco y Sforza, trasladó a la misma uno de los mejores archivos históricos de España que, tras su fallecimiento en 1986, fue cedido al Archivo Histórico Nacional.
También el rey Juan Carlos I visitó la residencia en varias ocasiones, ya que este duque fue su tutor mientras que era príncipe de Asturias durante la dictadura de Franco.