[1][2] Los cimientos de Sam Poo Kong se establecieron cuando el explorador musulmán chino, el almirante Zheng He, llegó a la parte occidental de lo que hoy es Semarang a través del río Garang;[1][3] el año se disputa, con sugerencias que van desde 1400 hasta 1416.
[1] Estableció un pequeño templo antes de dejar Java, pero, habiéndose aficionado a la zona, su ayudante Wang Jing y varios tripulantes se quedaron atrás.
[6][7] Incapaz de pagar cuotas individuales, la comunidad china gastaba 2000 gulden al año para mantener el templo abierto; más tarde se redujo a 500 gulden después de que los adoradores se quejaran del gasto.
Como esto era todavía una carga pesada, los devotos abandonaron Sam Poo Kong y encontraron una estatua de Zheng He para llevarla al Templo Tay Kak Sie, a 5 kilómetros, donde podían rezar libremente.
[6] En 1879, Oei Tjie Sien, un prominente hombre de negocios local, compró el complejo Sam Poo Kong y lo utilizó gratuitamente; en respuesta, los chinos locales lo celebraron con un carnaval y comenzaron a regresar a Sam Poo Kong.
[6][8] La propiedad del templo se transfirió a la nueva fundación Sam Poo Kong en 1924.
[2] Más al sur está el templo Kyai Jankar, llamado así por un ancla sagrada usada por Zheng He que se encuentra en su interior.
El templo más al sur es Kyai Cundrik Bumi, que se utiliza para adorar un arma usada por Zheng.