Está construido sobre el Monte o Cerro Pajarete, a 523 metros sobre el nivel del mar.

Es Monumento Nacional desde 1949[1]​ y Bien de interés cultural desde 1985.

Sin embargo el Monte Pajarete fue lugar de asentamiento humano desde la Antigüedad.

En el siglo XIII fue conquistado por San Fernando, quien lo reconstruyó.

No obstante al estar situado en plena Frontera o Banda morisca fue asediado por los musulmanes granadinos en 1408 y en 1445.