El museo consta de dos edificios que anteriormente eran los hoteles Carnavalet y Le Pelletier de Saint-Fargeau que son dos edificios separados y conectados por una galería en el primer piso.

Las estatuas que lo adornan son obras de Jean Goujon y su taller.

En 1654, François Mansart modificó las dos alas y la fachada del palacio por orden del intendente Claude de Boylesve, quien, comprometido en las malversaciones de Nicolás Fouquet, debió abandonarlo en 1662.

Madame de Sévigné se instaló en él en 1677, y no lo abandonó hasta su muerte en 1696.

Se comunicó con el museo Carnavalet a partir de 1960, renovándose entre 1982 y 1989.