Carlomagno, en su camino hacia los Pirineos junto a Roldán, construyó allí una primera fortificación.De ese viejo castillo no quedan nada más que impresionantes ruinas.En 1306, con el permiso del rey inglés Eduardo I el Cardenal De La Mothe —sobrino del Papa Clemente VI— construyó una segunda fortaleza, «el Castillo Nuevo» (le Château Neuf), de planta cuadrada con seis torres y un torreón central.El castillo ha servido como escenario para varios filmes, incluyendo Fantômas contre Scotland Yard y El pacto de los lobos.Durante la época del renacimiento se perforaron ventanas en el primer piso para permitir la entrada de luz y crear espacios con suntuosas chimeneas.