En 1088 el bando islámico asedió la fortaleza, pero no consiguieron expulsar a los castellanos hasta 1092 gracias al apoyo de los guerreros almorávides.

Ese mismo año, una cabalgada dirigida por Alfonso VI rescató a los supervivientes del sitio.

En este época, entre el siglo XIII y XIV, se levantó la torre del homenaje.

[2]​ Del complejo defensivo con diferentes estructuras adaptadas al terreno solo se ha conservado en buen estado el torreón de la Calahorra.

El tapial, levantado en bandas superpuestas, le da al edificio su característico tono rojizo.