Zimmer fue introducido en el mundo del arte desde el principio por su tío, el coleccionista Otto Ralfs.
Tras una exposición conjunta en el Pavillon im Alten Botanischen Garten de Múnich, conocieron al artista y filósofo danés Asger Jorn, que los vinculó con la Galerie Van de Loo.
Mientras viajaba por Italia, Zimmer conoció a Enrico Baj, Jean Dubuffet, Emilio Vedova y Graham Sutherland.
No pintó nada durante un año y posteriormente comenzó una carrera en solitario.
Zimmer se mudó de Múnich a Aschau im Chiemgau en 1973.