Parte del lugar que ocupa el parque se conocía como Cantonment Hill en 1841, a comienzos de la etapa colonial.
Esta zona corresponde a la parte superior de las antiguas Victoria Barracks, construidas entre 1867 y 1910, que fueron entregadas al gobierno en 1979.
Después de que la escuela desocupara la zona, se construyó el parque actual.
La construcción del parque fue un proyecto conjunto del Consejo Urbano (disuelto en 1999) y el Royal Hong Kong Jockey Club (renombrado Hong Kong Jockey Club en 1996).
Vantage Point es un gran lugar para ver las "exhibiciones de aves".