Se llega por un sendero que se desvía del camino principal,-un camino de herradura y ganadero antiguamente muy transitado que comunicaba el valle de Massanet y el Vallespir- a la altura del collado de la Gàbia, donde en la época medieval los condenados eran expuestos al escarnio público.
Está mencionado por primera vez en el juramento de fidelidad hecho al conde Bernat II de Besalú después del año 1070 por sus vasallos, que se conserva registrado en Liber Feudorum Maior.
En 1221 Beatriu d'Hortal testó a favor de su marido Pere d'Orriols.
En 1462, durante la Guerra Civil Catalana, fue nuevamente ocupado por los franceses, que establecieron una guarnición de 15 hombres comandados por el capitán Martin Durcayo.
Recuperada por los Rocabertí al final del conflicto civil, en 1497 Pere de Rocabertí aún mantenía una pequeña guarnición en el castillo de Cabrera, comandada por un cierto Jaume Olivet como castellano.
Sus restos sirvieron de refugio a bandoleros y desertores y a principios del siglo XX había un cobertizo para el ganado que pastaba por la montaña.
Otros accesos se construyeron a raíz de un precipicio con unos 65 metros verticales.
La muralla exterior hace unos 75 m de perímetro e incluye dos recintos.
El ángulo SE de esta torre, ha sido dañada por un rayo.
Bajo este muro, a unos 10 m hacia el SE hay rastros de un posible tercer recinto fortificado o parapetos exteriores.
El inferior ocupa todo el lado de levante del castillo, es estrecho y alargado, y en su extremo septentrional se abre la puerta de acceso a la fortaleza.