[2]​ Esta edificación fue originalmente una fortaleza construida por el noble y jefe militar Fulco III, conde de Anjou en el siglo XI.

La edificación pasó entonces a la familia Cossé que luego adoptó el nombre de Brissac.

En esta época, la fortaleza estuvo a punto de ser demolida, pero fue reconstruida bajo la dirección del arquitecto Jacques Corbineau haciendo un gran edificio.

Durante la Revolución francesa, el edificio fue requisado y convertido en un acantonamiento para los «Bleus» de Vendée.

Tras el matrimonio, la familia Cossé-Brissac también se convierte en propietario del castillo de Montreuil-Bellay, que vendieron más tarde.