Antes del siglo XX era un condado conocido como Heung-san (香山, pinyin: Xiangshan) ‘montaña fragante’ en referencia a las muchas flores que crecían en las montañas cercanas[2]​ La ciudad fue rebautizada en honor a Sun Yat-sen, que a menudo usaba el nombre de Zhongshan /Zungsaan.

Después de la muerte del Primer emperador en el año 210 a.c., los chinos Han en general Zhao Tuo fue declarado rey de Nanyue lo que originalmente era la Comandancia Nanhai.

En 1082, durante la dinastía Song del Norte, un asentamiento fortificado llamado Xiangshan se fundó en la zona, que marca el primer uso oficial del nombre con el que sería conocido en la mayor parte de su historia moderna.

Los soldados de la dinastía Qing Dynasty resistieron los ataques en la zona en 1840, pero se vieron desbordados en última instancia.

Durante la segunda guerra sino-japonesa, Zhongshan fue ocupada por el Ejército Imperial.

El más notable de estos son la Wugui Hills (chino: 五 桂山, pinyin: Wǔguī Shan; Jyutping: Ng5gwai3 Saan1).

La cumbre principal es el Wugui Hills, el punto más alto de la ciudad, a 531 metros sobre el nivel del mar.