Rodeado y flanqueado por una robusta y almenada muralla con catorce torres, más una decimoquinta torre del homenaje de factura cristiana, el castillo apenas ha sufrido daños, ya sean causados por el tiempo o la acción humana.Su inestimable valor histórico y artístico es la razón por la que este castillo llegó a ser declarado como Monumento Nacional en 1931.En 1466, el regidor de Baeza toma el castillo y lo devuelve a los partidarios del rey.Durante la invasión napoleónica, las tropas francesas se apropian del castillo, que sufrió las consecuencias de su ocupación, y desde entonces hasta 1828, el patio del castillo serviría de cementerio parroquial.Durante las mismas excavaciones también se ha puesto al descubierto la existencia de una fase ibérica con un oppidum del siglo IV, un mausoleo de época romana y después una fase medieval.El conjunto de estas catorce torres, severas y próximas entre sí, le confieren o afirman el carácter defensivo del castillo.Tanto murallas como torres, están dotadas de almenas o merlones, y perforadas por aspilleras.El segundo acceso, más modesto, está situado sobre el costado norte de la muralla.Esta técnica responde a la necesidad básica de levantar con rapidez las fortificaciones, y explica el color específico del recinto, que oscila entre el pardo y el rojo; la portada, en cambio, es de piedra.
