En 1644, Michel-Antoine Scarron, consejero del rey, tío del poeta burlesco Paul Scarron y suegro de Antoine d'Aumont de Rochebaron (1601-1669),[1]​ encuentra el edificio que había adquirido en 1619 demasiado deteriorado, mandó derribarlo y sustituirlo por el actual hotel construido sobre los planos de Louis Le Vau.

Su construcción estuvo a cargo del maestro albañil Michel Villedo.

[2]​ El jardín formal probablemente fue diseñado por André Le Nôtre y se ha reconstruido desde el edifici ohasta el muelle del Sena.

Otros cuatro duques de Aumont vivieron sucesivamente en el hotel hasta 1742.

[3]​ En 1938 fue comprado por el departamento del Sena[4]​ que lo restauró y obtuvo su clasificación en 1946.