Para ello acometieron la construcción de cinco castillos: Montignac, Montbron, Montmoreau, La Rochandry y La Rochefoucauld.
Para dar al vizconde los medios necesarios para tal custodia, el feudo vizcondal comportaba los pueblos de Olérat, Taponnat, Agris, Rivières et Bourg-Budeau, en el emplazamiento de la Ciudad Baja.
Esta apelación estaba en ese momento reservada para los descendientes de la aristocracia franca.
Este donjon tiene una estructura similar a los construidos al mismo tiempo por el conde de Anjou, Foulques Nerra: Langeais en 994, y en Loches hacia 1030.
Esperaban que alrededor de este priorato se desarrollase una ciudad.
Probablemente fue en ese momento cuando los condes de Angulema se apropiaron del feudo vizcondal.
Un La Rochefoucauld se endeudará para financiar una tropa que le acompañase en cruzada.
En 1453, Jean I de La Rochefoucauld construyó las tres torres en ángulo y sobreelevó el donjon.
En reconocimiento, elevó las tierras de La Rochefoucauld en condado (y el Angoumois en ducado).
Fue Francisco II de Rochefoucauld, compañero de Francisco I, quien construyó la mayor parte del castillo: dos corps de logis, las galerías superpuestas, la capilla y una gran escalera en espiral, que algunos dicen que pudo haber sido dibujada por Leonardo da Vinci.
Caso único en Francia, las galerías están superpuestas en tres pisos según un modelo italiano (palacio Farnesio).
Los constructores de este castillo renacentista (pueden ser François II y su esposa Anne de Polignac) tendrán la idean de preservar los elementos del castillo anterior para afirmar la continuidad de la presencia señorial atestiguada por los edificios antiguos (especialmente el donjon y las torres); la disposición será estudiada para que el donjon siguiese siendo claramente visible tanto desde el exterior del castillo como desde el interior.
En el siglo XVI los La Rochefoucauld tenían más de un centenar de castillos donde residían puntualmente, pero dado que Francisco II había ordenado en 1533 a su futura viuda que se retirase al castillo de Verteuil, ese castillo deshabitado ya no sería utilizado más que para las grandes recepciones y eventos reales En 1760 el ala del siglo XVII, que se había incendiado, fue reconstruida.
En 1765-1766, permitió al joven pintor y sobre todo dibujante y grabador lionés, Jean-Jacques de Boissieu (1736-1810), apodado «el Rembrandt francés», que le acompañase en su gran tour en Italia, lo que le valió visitar un pasaje Voltaire en Ferney.
A finales del siglo XIX, el aguafortista vendéano Octave de Rochebrune (1824-1900) había representado al menos dos aspectos del castillo: su de fachada con vistas al Tardoire y a la ciudad[5] y las que tienen triples galerías renacentistas del patio interior.
El 28 de enero de 1960 la parte occidental del donjon se derrumbó, por dos razones: una inspección del castillo demostró que toda la parte sur deslizaba sobre la roca, y este antiguo edificio apenas tuvo mantenimiento.
Fueron necesarios varios años de trabajo para estabilizar las cavidades cársticas situadas bajo del castillo; continuaron con las partes elevadas, pero la restauración del donjon por desgracia no se pudo llevar a cabo en esas fechas; fue la oportunidad para los propietarios para solicitar el arquitecto Ieoh Ming Pei «un projet d'inspiration très contemporaine».