Habiéndose formado musicalmente de manera autodidacta,[3]​ en 1968 Roedelius se involucró en la fundación del Zodiak Free Arts Lab junto al artista conceptual Conrad Schnitzler, Boris Schaak, Elke Lixfeld y otros, y en él formó parte de la comunidad musical llamada "Human Being".

Kluster lanzaría tres álbumes, Klopfzeichen, Zwei-Osterei y Eruption, tras lo cual Schnitzler deja la banda en 1971, iniciando una carrera como solista.

Paralelamente, en 1973 formaron la banda Harmonia junto al guitarrista de NEU!, Michael Rother, quien se unió a la comunidad rural donde vivía el dúo, en Forst, Alemania.

Tras Zuckerzeit, Moebius y Roedelius volvieron a trabajar con Rother en un nuevo álbum de Harmonia, Deluxe, lanzado en 1975.

En 2009, Hans Joachim Roedelius grabó "Sustanza di Cose Sperata" con la pianista y compositora Alessandra Celletti para el sello estadounidense Transparency Records.