En 1954 se casó con Thea Schoonbrood con quien tuvo cuatro hijos (Isabelle (1957), Denis (1958), Marianne (1961) y Hélène (1965)).

A finales de los años 1950 fue capaz de realizar algunas obras con el ensayista y novelista francés Michel Butor, como Répons (1960-65) y sobre todo la ópera Votre Faust (1961–68) (una colaboración que han mantenido de forma casi constante, seguida en Le procès du jeune chien (1974-78), La rose des voix (1982), Déclarations d'orages (1989), Les leçons d'enfer (1991) o Le Sablier du Phénix (1993)).

Además de componer y sus actividades docentes, Pousseur ha publicado numerosos artículos y diez libros sobre música, entre los que figuran Fragments Théorique I: sur la musique expérimentale (Bruselas: Universidad Libre de Bruselas, 1970), Schumann le Poète: 25 moments d'une lecture de Dichterliebe (París: Klincksieck, 1993) y Musiques croisées (París: L'Harmattan, 1997).

Una semana más tarde se celebró en su honor el festival Ars Música, que desgraciadamente, no debería haber sido un reconocimiento póstumo.

Cuando fue interpretada por vez primera, se realizaron varias versiones diferentes, dos por Luciano Berio, una por Marc Wilkinson, y dos por el propio compositor (Sabbe 1977, 175, n. 86).