A pesar de no aparecer documentado hasta el siglo X, se han podido identificar construcciones del siglo VI, periodo en que se construyó el foso excavado en la roca y algunos silos.
Cuando se dirigía a Gerona, durante la campaña contra Cataluña del 982, Almanzor conquistó el castillo de Munt Fariq, que se ha identificado con el castillo del Far.
El año 990 figura Gombau de Besora como señor del castillo.
Durante el siglo XII el castillo perteneció al linaje de los Desfar.
Fue un siglo con tensiones entre los castellanos y el rey Pedro IV de Aragón.