Está construido sobre una escarpada peña granítica de forma cónica y se puede ver con facilidad desde el pueblo, que queda a sus pies.

Según el cronista Ramon Muntaner, el rey Jaime I fue invitado a residido en el por Dalmau V de Rocabertí.

En una leyenda que bebe en las fuentes de Esopo, el castillo de Rocabertí habría sido habitado por simiotes, seres fantásticos, medio personas y medio animales, con grandes pilosidades que les cubrían todo el cuerpo, salvo los ojos y los dientes.

Su rey ordenó que le fuera servido un caldo bien caliente, y los simiotes volvieron a sorprenderse cuando el viajero sopló el líquido, ahora para enfriarlo.

En otra leyenda, el castillo es habitado por hadas, seres míticos femeninos con atribuciones mágicas positivas o negativas, también llamadas mujeres de agua.