La construcción comenzó en 1892, según el diseño del arquitecto Tokuma Katayama, y se prolongó hasta 1895.

La colección permanente se trasladó en 1965 a unas nuevas dependencias, diseñadas por el arquitecto Keiichi Morita.

[1]​ En 1969, el edificio original, la entrada principal y la zona de billetes fueron declarados Bienes Culturales.

Actualmente, la mayoría de los objetos siguen perteneciendo a sus propietarios originales y se encuentran expuestos en préstamo.

La colección está centrada principalmente en el arte japonés y asiático premoderno.

Se dice que posee la mayor colección de artefactos del periodo Heian.