La ciudad está situada alrededor de los Montes Huang, declarados Patrimonio de la Humanidad en 1990 y que han convertido a Huangshan en un destino turístico importante.

Está dividida en siete niveles administrativos: tres distritos y cuatro condados.

Se cree que la ciudad fue fundada durante la dinastía Jin bajo el nombre de Xin'an.

Fue durante este periodo cuando la ciudad empezó a ganar importancia.

Se convirtió en el centro de artesanos y comerciantes que desarrollaron prósperos negocios gracias a la situación estratégica en la que estaba situada la ciudad (en la frontera con dos provincias).