Los restos del castillo están declarados Bien de Interés Cultural.

El castillo estaba enclavado en lo más alto de la Sierra de Gracia y contaba con un doble recinto.

Se conservan la llamada Puerta del Sol, vestigios de sus muros, del aljibe y de la torre principal.

Aunque se atribuye a los cartagineses la construcción de murallas en el lugar, los restos que se conservan fueron levantados por los árabes en el siglo IX, siendo el castillo reedificado por los nazaríes en el siglo XIII.

El castillo fue conquistado por el muladí Omar ibn Hafsún varias veces, siendo reconquistado por Abderramán III en el año 907.