Estudió en el conservatorio de Graz y, en 1960, debutó en Viena.

Fue admirada especialmente por el director Herbert von Karajan, quien a menudo contó con ella para sus producciones, en 1959, Karajan la hizo debutar como Barbarina en Las bodas de Figaro en la Staatsoper, de la que fue miembro permanente desde 1962 y de la Deutsche Oper Berlin en 1966.

Además de su mentor Karajan, con quien trabajó hasta 1979, fue favorita de Otto Klemperer, Eugen Jochum, Leonard Bernstein, Rafael Kubelík, Karl Böhm, Georg Solti y Carlos Kleiber.

En 1980, cantó en Le nozze di Figaro con Georg Solti dirigida por Giorgio Strehler.

Gundula Janowitz estuvo casada con el director berlinés Nikolaus Sulzberger hasta su fallecimiento en 2014.