Aparece documentado en 1046 en el juramento de fidelidad del vizconde Ramón Folc I de Cardona al conde Ramón Berenguer I.
El castillo era un feudo del vizcondado de Cardona y la castellanía la ostentaron la familia Farners hasta el siglo XIII, en que pasó a los Vilademany.
En 1240 Pedro Ramón de Vilademany lo cedió en testamento a su hijo Arnau, y señaló la dependencia señorial al vizconde Ramón Folc IV de Cardona.
Hubo discrepancias a finales del siglo XIII entre la soberanía que ejercía el rey Pedro III de Aragón, que reclamaba la potestad del castillo al vizconde Ramón Folc VI de Cardona, y éste, que se resistía a cederlo, lo que llegó a crear un grave problema de jurisdicción hasta bien pasado el siglo XIV.
A tramontana, hay una pequeña puerta que comunica con el Cerro del Viento.