Anteriormente fue castro romano y la edificación actual tiene definitivamente origen Árabe, del año 760.
Durante la Edad Media fue sometido a diferentes reformas y reconstrucciones.
Las torres más importantes son la Cuadrada, la Redonda y del Homenaje.
Ya con los almorávides se reintegró a la jurisdicción cordobesa y, por último, entre los siglos XII y XIII pasó a depender de la corte almohade de Sevilla.
En 1360, Pedro I se aposentó en su castillo, como también lo haría en repetidas ocasiones su medio hermano Enrique II.