Fue construido entre 1635 y 1640 por François Mansart, para Louis Phélypeaux, señor de La Vrillière.
[1] Originalmente, la mansión tenía un gran jardín con un parterre formal al suroeste.
María Teresa de Saboya-Carignano, princesse de Lamballe, que era la nuera viuda del duque de Penthièvre, también residió allí hasta la Revolución Francesa .
Confiscado como Biens nationaux (bien nacional) durante la Revolución Francesa, el Hôtel de Toulouse se convirtió en la Imprimerie de la République en 1795.
Otras películas, ambas francesas, filmadas en el lugar son Vatel y Todas las mañanas del mundo.