En 1876, Whistler decoró con esmero esta habitación con diseños de pavos reales azules y dorados.
Tras la muerte del dueño, la habitación fue comprada en su totalidad y transportada a los EE.
Se abrió al público en 1923, siendo el primer museo de la Institución Smithsoniana dedicado a las artes.
La construcción de la galería comenzó en 1916 y se completó en 1921, tras el retraso debido a la Primera Guerra Mundial.
Una importante renovación del edificio, que culminó con una gran reapertura en 1993, amplió enormemente el espacio de almacenamiento y exposición al conectar el Freer y la Galería Arthur M. Sackler.
La estructura original diseñada por Platt permanece intacta, incluido el Auditorio Eugene y Agnes E. Meyer, que sirve como sede de muchos programas públicos.
The Freer también posee obras de Thomas Dewing (1851-1938), Dwight Tryon (1849-1925), Abbott Handerson Thayer (1849-1921), Childe Hassam (1859-1935), Winslow Homer (1836-1910), Augustus Saint-Gaudens (1848-1907), Willard Leroy Metcalf (1858-1925), John Singer Sargent (1856-1925) y John Henry Twachtman (1853-1902).
La colección principal son los documentos personales del fundador de la galería, Charles Lang Freer, que incluye sus registros de compras, diarios y correspondencia personal con figuras públicas como artistas, marchantes y coleccionistas.
Otras colecciones significativas en los Archivos incluyen los papeles (cuadernos, cartas, fotografías, moldes) y objetos personales del arqueólogo alemán Ernst Herzfeld (1879-1946), que documentan su investigación en Samarra, Persépolis y Pasargada.
Los documentos de Carl Whiting Bishop,[12] Dwight William Tryon, Myron Bement Smith,[13] Benjamin March[14] y Henri Vever[15] también se encuentran en los Archivos.
La mitad de los volúmenes están escritos y catalogados en idiomas asiáticos.
En julio de 1987, la biblioteca se trasladó a su nueva sede en la Galería Arthur M. Sackler.