Estudió composición con Johannes Paul Thilman, así como la realización y cantar.
Trabajó dos años como asistente del director musical de teatro, Walter Felsenstein.
En 1978 fue nombrado profesor de composición en su alma mater, Dresdner Musikhochschule.
Se representaron un total de 175 obras, con 161 composiciones comisionadas por musica viva, y presentadas en 180 emisiones.
Zimmermann murió en Dresde dos semanas después de cumplir 78 años.