En torno a mediados o principios del siglo XX el castillo aún ocupaba una gran extensión, si bien muchas de sus murallas se habían enlazado con las paredes de las viejas o nuevas casas, cediendo el recinto de sus torres para habitaciones y sus casi cegados aljibes para establos o pajares.

Sus muros fueron altísimos y muy sólidos, disponiendo en su recinto numerosos depósitos de agua y una galería subterránea que descendía hasta el río Turón.

Se mantienen una torre cuadrada y una cilíndrica que forma parte de una casa.

No se sabe con certeza si empezaría como otros siendo castro céltico, aunque si parece cierto es que fuera un castillo medieval, dada su denominación visigótica.

Sería definitivamente recuperado con la conquista de Ronda por parte de los Reyes Católicos, quienes ordenaron la reparación total del alcázar, convencidos de su importancia y valor estratégico, nombrando alcaide del mismo en 1485 a Don Pedro Barrionuevo.