La fortaleza ya debió de existir en la época del visigodo Teodomiro, pues hay referencias concretas de que ya estaba construido en el año 713.

Fue reformado en numerosas ocasiones, especialmente tras ser reconquistada la ciudad por los cristianos.

Está documentado que distintos monarcas asignaron partidas para su mantenimiento.

Del mismo modo varias tormentas a lo largo del mismo siglo y, finalmente, el terremoto de 1829, causaron daños irrecuperables en los restos que aún quedaban de la fortificación.

Fue construido en siete círculos, estando reservado el superior para los altos cargos militares.