[3]​ Después de la restauración Meiji, los Owari regalaron los terrenos a la Casa Imperial.

Lo que se había previsto como un traslado temporal duró cinco años.

En el edificio se instalaron varios departamentos gubernamentales, incluyendo la Biblioteca de la Dieta Nacional,[5]​ que fue fundada en 1948, el Naikakuhouseikyoku (内閣法制局) (una agencia que asesora al gobierno sobre leyes) y el comité organizador de los JJ.OO.

Para ese propósito se había usado la antigua residencia del príncipe Asaka (hoy Museo Metropolitano de Arte Teien de Tokio) pero resultaba demasiado pequeño para la época.

En 1967 se decidió renovar el palacio de Asakusa para que sirviera a ese propósito.

La remodelación fue dirigida por al arquitecto Togo Murano, costó 10.800 millones de yenes y tardó cinco años en completarse (1974).