Fue planeado inicialmente como lugar de retiro en torno al 1460 por el shōgun Ashikaga Yoshimasa, dejando acordado a su muerte, que se destinase a servir como templo budista.
La estructura principal, el Kannon-den (観音殿) comenzó a construirse en 1482 y buscaba emular el Kinkaku-ji o «Pabellón dorado» construido por su abuelo Ashikaga Yoshimitsu, pero lamentablemente, debido a guerra civil, no pudo recubrirse el edificio con plata tal y como se había planeado inicialmente.
No obstante, desde el Período Edo es conocido como Ginkaku (Pabellón de plata).
El templo forma parte actualmente de la rama Shokoku-ji del Rinzai Zen.
Esto le da al templo un aspecto inacabado que ha sido expresamente respetado en la extensa restauración llevada a cabo en 2008.