Con el paso del tiempo, fue transformándose, con la progresiva eliminación de los elementos militares primitivos y su adaptación en residencia palaciega.
Las principales reformas y remodelaciones fueron emprendidas en la segunda mitad del siglo XVI, durante el reinado de Felipe II.
Actualmente se encuentra gestionada por una empresa privada, que explota el lugar como centro de convenciones y eventos.
Destaca su acceso principal, conformado por una portada de estilo gótico tardío.La edificación de la casa-torre empezaría de la primera donación a los hermanos Ajofrín a finales del siglo XIV, ofreciendo su aspecto fortificado, sin embargo, tras su adquisición por Felipe II la casa-torre sufrió una gran reforma que cambiaria su aspecto interior y exterior.
Su resultado fue una vía integrada en el paisaje del mismo periodo que el Monasterio de El Escorial.