Las razzias llevaba a cabo contra Jaén por el rey nazarí Muhammad V, en 1368, hizo que se reforzaran aún más las defensas de Torredonjimeno.

Para acometer esta empresa se levantó un recinto murado exterior que protegiera a la población y se mejoró la seguridad del castillo dotándolo de un callejón interior y construyendo, en el lado este, el más débil defensivamente, un foso, que recibía agua del Salado por una mina subterránea así como un muro colocado en forma de talud.

En el último tercio del siglo XX, sus propietarios lo cedieron al municipio y la Escuela Taller asumió su rehabilitación como centro cultural.

Considerado el segundo legado visigodo más importante de la Península después del encontrado en Guarrazar (Toledo), sus piezas originales se encuentran hoy repartidas por varios museos españoles.

Por otra parte, el patio oeste del castillo se utilizó para construir un jardín con una fuente central.

En la actualidad los restos más antiguos que se han conservado, como algunas torres o muros, datan del siglo XIII.