El lugar que ocupa el edificio ha tenido distintos usos desde la Edad Antigua, conservándose aún unas termas galo-romanas del siglo I, por lo que también es conocido con el nombre de termas de Cluny.
El nombre se lo debe a haber sido desde el siglo XIII sede del hospicio-residencia de los Abades de Cluny.
Durante la Revolución francesa el edificio fue confiscado por la recién nacida República (1793), y en treinta años fue cambiando de propietarios.
En 1833 Alexandre du Sommerard[2] instaló allí su gran colección de obras medievales y del Renacimiento.
Después de su muerte, en 1842, la colección fue adquirida por el Estado, que la abrió público como museo en 1843, con su hijo como director-conservador.