Estudió en la Universidad de Colonia y posteriormente en los conservatorios de Colonia y Berlín, siguió los estudios de Wolfgang Fortner y de René Leibowitz en Darmstadt.

De 1950 a 1952 trabajó en el Instituto de Musicología de Colonia y colaboró también como compositor en varias emisoras radiofónicas.

Zimmermann experimentó en su obra con diferentes técnicas, como el sistema de cita musical o el collage, pasando por el serialismo.

Desde comienzos de la década de los años 50 experimentó con materiales recogidos de otras obras, haciendo uso de la técnica de la cita musical.

Durante la época en que finalizó su famosa ópera Die Soldaten (Los soldados, 1960), Zimmermann llevó a cabo con éxito un complejo método de combinación de material procedentes de diferentes períodos estilísticos con su «propia» música, de forma que hizo uso de la técnica del collage.