Entre los siglos XII-XIII, el autor árabe al-Yacut señala la existencia del hisn de Caravaca: un punto fortificado que centralizaba el control de los campos circundantes y la defensa de la población rural.

[2]​ El rey Alfonso X de Castilla y León donó el castillo a la Orden del Temple tras finalizar la revuelta mudéjar de 1264-1266.

[1]​ En su interior fue levantada la Basílica de la Vera Cruz en el siglo XVII, lo que ha podido conservar los restos del castillo,[1]​ principalmente el recinto amurallado.

Se trataría del último reducto defensivo, de planta cuadrangular y dotado de seis torres, con salida directa al exterior del espacio amurallado.

Su estructura más importante es la torre del homenaje, la llamada Torre Chacona, que pone en contacto el recinto exterior con el inferior, y se convierte en un elemento fortificado de primer orden, con la posibilidad de ejercer su defensa con independencia del conjunto.