Las primeras referencias al castillo de Baena son dadas por historiadores musulmanes desde finales del siglo IX, durante las revueltas del rebelde Omar ibn Hafsún contra el Emirato de Córdoba.

[3]​ La estructura se conservó casi intacta hasta 1879, cuando la familia noble vendió la fortaleza[2]​ y comenzó a ser usada como cantera y en su recinto se alzaron algunos edificios, demoliéndose un arco de herradura a mediados del siglo XX.

[4]​ Desde entonces se encontraba en estado ruinoso, algunos autores incluso afirmaron categóricamente que a partir de los restos que han sobrevivido «aún es posible hacerse una idea de su envergadura y de la importancia que debió tener».

[6]​ El Arco de Consolación, construido a base de mampostería, se encontraba abandonado en la década de 1990 y también enlucido, y el Arco Oscuro, que fue edificado con ladrillos y sillarejo, fue reconstruido y dispone de un tejado con cubiertas a cuatro aguas, siendo necesario destacar que en su interior hay una estancia cubierta con un artesonado mudéjar y que en ella se reunía en siglos pasados el cabildo de Baena.

[7]​ Entre los dos arcos o puertas mencionados anteriormente se halla un lienzo de la muralla que protegía el extremo sur de la población y que cuenta con algunos torreones y también con algunas almenas reconstruidas en época moderna.