El emplazamiento siguió utilizándose, pero fue bajo dominio árabe cuando alcanzó mayor protagonismo.
Los bereberes fundaron sobre los antiguos cimientos una fortaleza que se convirtió en posición clave durante entre el siglo XII y comienzos del XIII para defender la línea que marcaba la división entre los territorios cristianos y musulmanes.
Junto al castillo se creó un poblado, de nombre Peñas Rubias.
Tras volver a dominio musulmán, fue definitivamente conquistado en 1212 y a partir de entonces la fortaleza perdió importancia, siendo abandonada mediado el siglo XIII.
Actualmente el recinto se encuentra en ruinas.