En aquella época, el edificio era un manoir hébergement, es decir una casa señorial no fortificada que Bernier reconstruyó en una fortaleza.
En 1375, Jehan Bernier fue nombrado uno de tres reformadores forestales de la zona (generaulz et souverains reformateurs sur le fait des eaues et forés) por Carlos V.
Después de la Revolución francesa el castillo de Rambouillet pasó a ser propiedad del gobierno francés, no pasando jamás a manos privadas.
El primer presidente que usó el palacio fue Jules Grévy, para reuniones con huéspedes importantes, manteniéndose en el poder de 1879 a 1887.
Los presentes fueron: Gerald Ford, Harold Wilson, Aldo Moro, Takeo Miki, Helmut Schmidt y Pierre Trudeau.