Torre de Calígula

[1]​ La iglesia fue construida en 1622, reaprovechando piedras y materiales del antiguo castillo, así como el torreón militar a modo de ábside.

Es en esta época cuando el castillo adquirió verdadera importancia al recibir un uso militar, pues habría sido de gran importancia estratégica al sur del Guadalquivir y Espeluy, junto a la calzada arrecife que provenía desde Córdoba.

Al parecer, este rey otorgó a la villa privilegios con el fin de resolver los conflictos entre cristianos y judíos.

Parece ser que en el mismo castillo nació el poeta árabe Abendarrach al-Qastalli en el 958, siendo descendiente de una familia noble bereber.

En la segunda mitad del siglo XV, durante la guerra entre la nobleza y el Rey Enrique IV, Cazalilla es nombrada en diversas ocasiones en relación con su castillo.