Se encuentran continuas referencias históricas del castillo en los años siguientes: apropiaciones, relaciones de bienes, legados, etc.

Aquella iglesia contenía el sepulcro del conde Ermengol IX de Urgel, fallecido en 1243.

La defensa islámica debía centrarse en el muro del lado norte, más indefenso por cuestiones topográficas.

Al sur se conservan dos torres unidas por restos de muralla, que llega hasta la villa baja.

El castillo fue construido con aparejo de mampostería revoque por el exterior, y algunos paramentos del norte fueron hechos con sillares irregulares.