Toda su obra está actualmente hundida, pero se puede ver claramente que tuvo tres pisos.
El primero, a nivel del suelo, cubriría un sótano o aljibe con bóveda apuntada de grandes proporciones.
Al segundo piso se accedía por una escalera de obra exenta que tuvo dos vuelos.
Por último, tendríamos El Albacar, que ocupa un terreno notablemente extenso, apurando el segundo nivel del cerro.
Los dos recintos amurallados concéntricos delimitarían un área de hábitat anejo al castillo propiamente dicho.
Esta pervivencia de la toponimia árabe parece bastante común en esta zona, pudiéndose identificar a través de emplazamientos concretos y materiales cerámicos ciertos enclaves con un desarrollo común dentro del mismo proceso histórico: Bélmez, Larva, Huelma,...
Bélmez formaba parte del alfoz que Fernando III había prometido entregar a Baeza en 1243 para cuando se conquistase.
En 1368, aprovechando la guerra civil que enfrentaba a la nobleza castellana, los nasríes reconquistaron Bélmez y otras plazas cercanas.
En 1464 sufriría asedio por los partidarios de la nobleza frente al rey Enrique IV, circunstancia que se repetiría en 1476.