Esto pudo deberse a una construcción apresurada y poco planificada por parte del condestable, tras recibir la negativa de Mombeltrán.

[3]​ Durante este siglo se proyectó que su patio fuera convertido en cárcel, en 1849,[14]​[16]​ así como se llevó a cabo su transformación en cementerio, en 1812,[2]​[14]​ situación esta última ante la que protestaría el entonces propietario, el duque don Pedro de Alcántara.

[17]​ A partir de los años 70 y hasta la actualidad se ha usado como espacio cultural para actividades al aire libre,[5]​[14]​[17]​ con actuaciones de música, teatro y danza, proyecciones y conferencias,[16]​ habiendo sido escenario varios años del festival de música indie Ecopop.

[18]​[19]​ En 2007 la bióloga estadounidense Lynn Margulis inauguró las nuevas instalaciones del castillo,[20]​ tras el proceso de rehabilitación que experimentó.

Fueron restaurados tanto el adarve como el interior de la torre del homenaje, en la actualidad abierta a visitas del público y que alberga distintas salas de exposiciones.

[24]​ El castillo fue descrito en 1900 por el arqueólogo e historiador Manuel Gómez-Moreno para su obra Catálogo Monumental de Ávila.