El origen del castillo parece provenir de una torre denominada Karid-Wad, "aldea del río", construida por los andalusíes en el siglo XI, cuya misión era controlar el paso del río Guadalquivir y el camino que unía Córdoba y Jaén.

Más tarde se le adosó un patio de armas y una nueva torre, quedando la antigua torre al oeste, la más nueva al este y en el centro la plaza de armas.

La torre oeste se convirtió en el nuevo baptisterio, la torre este en presbiterio y el patio de armas se cubrió para convertirse en la única nave de la iglesia.

[1]​ El templo católico continuó utilizándose hasta 1907 cuando, tras el aumento de población en Villa del Río, se decidió construir la nueva iglesia de la Inmaculada, inaugurada un año más tarde, por lo que el antiguo templo quedó abandonado y comenzó a deteriorarse.

En 1914 el Ayuntamiento de Villa del Río lo adquirió por 6.000 pesetas y lo restauró para convertirlo en mercado de abastos, función que cumplió hasta 1966 cuando volvió a quedar sin uso.