[4]​ por este pequeño feudo normando formado « pastos escasos, zarzas y brezos» Probablemente fue construido por su hijo, Jean II de Choisy,[3]​ entre 1625 y 1630, sobre planos atribuidos a François Mansart.

Su reputación como intelectual interesó así al joven Louis XIV queriendo llegar a ser « Un hombre honesto , que pagaba las entrevistas que ella « concedía dos veces por semana con una pensión de 8000 livres(Frégnac).

En cuanto a su hija, la condesa d'Hervilly, después de que el doctor Vimard lograra salvarla de la misma suerte haciéndola pasar por loca al haberla revolcado en ortigas, tuvo que esconderse durante mucho tiempo con sus hijas (Frégnac).

El dominio y el castillo fueron confiscados pero en 1795 la condesa reclamó y obtuvo su parte del patrimonio familiar, que compartió en 1806 con su hermano Philippe (1763-1840), cuarto marqués, quien en 1819 tuvo que revender el dominio a un marqués de La Londe, alcalde de Versalles, con derecho de redención por su hijo.

[7]​ François Mansart, entonces desconocido, que ya había elaborado los planos del nuevo castillo de Berny, residencia transformada del canciller Pierre Brûlart de Sillery (1624-1625), vino regularmente a Balleroy de 1632 a 1634 y entregó aquí los del castillo.

[10]​ Las dependencias están dispuestas a ambos lados de los jardines diseñados por Le Nôtre.

Su interior ofrece en el primer piso un gran salón ceremonial con una suntuosa decoración mural completada, hacia 1675, por una importante composición pintada en el techo Le Char du Soleil por Charles de La Fosse,[4]​ y no por Mignard como era creído durante mucho tiempo,[11]​ así como los retratos ejecutados hacia 1651, en el corazón de la Fronda, atribuidos a Juste d'Egmont,[12]​ exaltando las ambiciones de Gaston d'Orléans, la duquesa y sus hijos, en particular la Grande Mademoiselle, representada como Minerva.

Las dependencias de la izquierda albergan el Musée des Ballons creado por Malcolm Forbes, que contiene documentos sobre los hermanos Montgolfier.