En 1876, adquiere 148 retratos dibujados (lápiz, pastel) al duque de Sutherland, quien los conservaba en su mansión londinense, Stafford House.
Los había reunido décadas antes el medievalista y museólogo Alexandre Lenoir; se deben a autores como Corneille de Lyon, Pierre Mignard y Philippe de Champaigne.
En 1884-1886, el testamento del duque y las posteriores disposiciones motivadas por su segundo exilio, hacen que el castillo de Chantilly y sus colecciones pasen a manos del Instituto de Francia.
Debido a ello, en cierta manera es un museo de ambiente que conserva su organización y decoración originales.
Este museo alberga otras cuatro obras de Poussin.