El edificio está situado en el VIII Distrito de París, en la calle del Faubourg Saint-Honoré, y su construcción se remonta al siglo XVIII.
Fue propiedad inicial del conde Louis Henri de La Tour d'Auvergne que mandó construirlo entre 1718 y 1722.
Fue luego comprado en 1773 por el banquero Nicolás Beaujon, que lo cedió en 1786 a Luis XVI reservándose el usufructo.
El gobierno revolucionario dio al palacio diversos destinos hasta el regreso de la duquesa en 1797.
Tras el fin de la Segunda Guerra Mundial en Europa, volvió a ser residencia presidencial en 1946 y lo sigue siendo en el siglo XXI.