Enseñó en la Academia Militar de Whampoa y se unió al partido comunista en 1927.

En 1927, participó en el fallido Levantamiento de Nanchang y se vio obligado a huir a Hong Kong con otros dos dirigentes comunistas de la revuelta, Zhou Enlai y Ye Ting (no relacionado con Ye Jianying).

Aunque se opuso firmemente al Levantamiento de Guangzhou con otros comandantes militares, como Ye Ting en el mismo año, sin embargo, llevó a cabo fielmente sus deberes asignados en el levantamiento, que por supuesto terminó en un nuevo desastre, y una vez más, Ye fue obligado a huir a Hong Kong, al igual que otros líderes comunistas como Ye Ting y Nie Rongzhen.

Sin embargo, Ye fue mucho más afortunado que Ye Ting, quien fue un chivo expiatorio del fracaso de la política Komintern y obligado a exiliarse, posteriormente, estudió ciencia militar en Moscú.

Zhang se empeñó en convertir el sur como una nueva base en las regiones habitadas por tibetanos y las minorías Qiang Qiang, que después resultó ser un desastre.