Su hijo Louis I Phélypeaux hizo construir el edificio principal entre 1633 y 1662, cuya atribución a François Mansart es infundada.

Después de la muerte de su esposa, quedó desconsolado y renunció a todos sus cargos, que los contemporáneos pensaban que nunca había visto según su amigo Saint Simon.

La herencia fue inmediatamente sujeta a una administración judicial efectiva, con fondos limitados disponibles para su heredera, la duquesa desennoblecida.

Cuando Destillières murió en 1814, su enorme fortuna y tierras pasaron a su hija, Aimée Caroillon des Tillières.

[6]​ El pintor Jean-Baptiste Isabey, que enseñó dibujo a Aimée d'Osmond y era su amigo, tenía su habitación en el castillo, donde en 1815 realizó vistas del interior.

Este rico aristócrata prusiano joven, primo de Bismarck, hizo restaurar la casa por el arquitecto Pierre Manguin.

Los campesinos locales se escandalizaron al verla galopando por el parque vestida de hombre.

[7]​ El marqués de Paiva se suicidó y en 1871 su viuda se casó con el conde von Donnersmarck, que había regresado a Pontchartrain, donde reemplazó a los sirvientes por personal alemán.

La ocupación prusiana en 1870 dejó intacta Pontchartrain, propiedad del conde, ahora gobernador de Alsacia-Lorena.

El castillo fue comprado por el financiero, industrial y coleccionista Auguste Dreyfus (1827-1897) y / o su esposa Luisa González de Andia Orbegoso (1847-1924), marquesa de Villahermosa, con quien Dreyfus se había casado en Lima en 1873.

Pringué describe la vida cuasi-real en Ponchartrain, que recuerda a la corte de Madrid.

Aparecía en el vestíbulo alrededor del mediodía, con un gran sombrero de tul negro, y entraba en una gran victoria tirada por grandes caballos negros, con cochero y lacayo de uniforme completo, para ver su jardín.

Los establos y las dependencias importantes fueron construidos a principios del siglo XVIII, probablemente por el hermano Romain.

La capilla estaba en el ala izquierda, accesible por una galería en la planta baja en la alineación del edificio principal.

En 1703 fue reemplazada por una sala octogonal, probablemente del hermano Romain, pero los Dreyfus utilizaron otra capilla según Pringué.

Este arreglo de galería-salón fue repetido simétricamente en el ala derecha por Boeswillwald.