Un grabado que lo representa en este momento, 1658, fue realizado por Jean Marot.

De 1681 a 1714 estuvo habitada por Marie Anne Mancini, duquesa de Bouillon, sobrina del cardenal Mazarino, quien la hizo embellecer por Charles Le Brun y André Le Nôtre.

En 1745, François Debias-Aubry construyó el Petit hôtel de Bouillon, que se encuentra en el número 15 del quai Malaquais, junto al Grand hôtel de Bouillon.

El doctor ocupó un ala entera durante varios años antes de mudarse a una mansión en el Boulevard Saint-Germain.

También fue ocupado al mismo tiempo por el hombre de letras Édouard Pailleron.