En 1644, Michel-Antoine Scarron, consejero del rey, tío del poeta burlesco Paul Scarron y suegro de Antoine d'Aumont de Rochebaron (1601-1669),[1] encuentra el edificio que había adquirido en 1619 demasiado deteriorado, mandó derribarlo y sustituirlo por el actual hotel construido sobre los planos de Louis Le Vau.Su construcción estuvo a cargo del maestro albañil Michel Villedo.[2] El jardín formal probablemente fue diseñado por André Le Nôtre y se ha reconstruido desde el edifici ohasta el muelle del Sena.Otros cuatro duques de Aumont vivieron sucesivamente en el hotel hasta 1742.[3] En 1938 fue comprado por el departamento del Sena[4] que lo restauró y obtuvo su clasificación en 1946.
