Desde 1968, ocupa el antiguo edificio de la Oficina de Patentes (Old Patent Office), diseñado por Robert Mills en estilo neogriego y construido entre 1836-1867, que comparte con otro museo smithsoniano, el Museo Smithsoniano de Arte Americano.
Los pórticos hechos en mármol y granito están inspirados en los del Partenón de Atenas (Grecia).
El presidente Dwight Eisenhower salvó el edificio de la demolición en 1958 y lo entregó a la Smithsonian, quien renovó la edificación y abrió los ya mencionados museos.
Debido a ello, el nombre de la parada cercana del metro de Washington se llama Gallery Place, y se encuentra en el corte de las calles F y 8 en el barrio del Noroeste.
La Galería se cerró para llevar a cabo unas ambiciosas renovaciones y ampliaciones en enero de 2000.