Fue construido por los árabes, durante la Edad Media, aunque sus orígenes son fenicios y romanos.

El primero, regular y homogéneo (recinto superior) con 6 torres cuadradas, construido en la época Califal.

Debió de estar formado por muros que rodeaban al primer recinto.

Entre ambos recintos, se pueden encontramos una torre cuadrada llamada Torre de la Vela con planta cuadrada y dividida en tres cuerpos que van decreciendo en altura a medida que van subiendo.

Esta antigua parroquia es de estilo gótico y estaría compuesta por tres naves.

Desde 1953, la imagen del Nazareno está acompañado por la Virgen de las Ánimas (obra del mismo autor y que fue concluida por su hijo puesto que no llegó a concluirla a causa de su muerte).

En el castillo árabe también podemos ver la llamada Torre del Homenaje, que es la más elevada de todo el recinto superior y la única reconstruida.