Las primeras referencias al castillo datan del siglo IX, perteneciendo al área de influencia del rebelde Omar Ibn Hafsún y ubicando en este lugar la plaza de armas y una línea de defensa.

[1]​ El 16 de abril del año 891, Ibn Hafsún es derrotado en la batalla de Poley por las fuerzas del soberano Abd Allah I.

Un siglo más tarde, en 1352, don Alfonso Fernández Coronel, que acababa de recibir el señorío, se subleva contra el rey Pedro I.

Las tropas del monarca atacaron el castillo y la devolvió a la Corona un año después, decapitando al traidor y eliminando las águilas esculpidas que recordaban al rebelde.

[3]​ Sin embargo, la destrucción más grande del castillo llegó a mediados del siglo XIX con Juan Vila Cordón, corregidor de la ciudad, autorizó demoler el castillo y utilizar sus piedras, principalmente el mármol rojo de Cabra del patio de armas, para las calzadas municipales.