Fue construido entre 1738 y 1740 por colonos de Fujian, China.
A lo largo de sus casi trescientos años de existencia ha sido destruido total o parcialmente por diversos terremotos, incendios y tifones, destacando entre ellos el terremoto de 1815, que dejó prácticamente destruido el edificio principal y el tifón de 1860, tras el cual el edificio principal tuvo que ser nuevamente reconstruido.
Sin embargo, los habitantes de Taipéi lo han reconstruido y renovado continuamente, la última vez pocos meses después del final de la Segunda Guerra Mundial.
El Templo Longshan se considera un ejemplo emblemático de la arquitectura clásica taiwanesa, con influencias del sur de China vistas habitualmente en edificios más antiguos.
Como la mayoría de los templos de Taiwán, el templo rinde culto a divinidades budistas, taoístas, y tradicionales como Matsu.