Se encuentra entre los barrios de Charles Village y Remington, justo adyacente al campus Homewood de la Universidad Johns Hopkins, aunque el museo es una institución independiente, no asociada a la universidad.
El panorama artístico que ofrece es especialmente sólido en arte de los siglos XIX y XX; se complementa, en la misma ciudad de Baltimore, con el Museo Walters, que abarca el arte de épocas anteriores.
Hay también pinturas de Tiziano, Rembrandt, Frans Hals y Chardin.
Un punto destacado del museo es la colección Cone, con obras de Henri Matisse, Pablo Picasso, Cézanne, Manet, Degas, Gauguin, van Gogh, y Renoir, obras coleccionadas por las hermanas de Baltimore Claribel y Etta Cone, quienes a principios del siglo XX se propusieron adquirir todas las obras que pudieran de artistas como Matisse y Picasso especialmente, y también Cézanne, Gauguin, Van Gogh y Renoir entre otros.
El museo expone también obras de: Edgar Degas, Joan Miró, Piet Mondrian, Jackson Pollock, Georges Pierre Seurat, Henri de Toulouse-Lautrec y Andy Warhol.