Fue instrumental en las carreras de grandes cantantes como Zinka Milanov, Leonie Rysanek, Placido Domingo, Renata Tebaldi, Franco Corelli y Roberta Peters.
Sostuvo una conflictiva relación profesional con muchos artistas, como Helen Traubel, Beverly Sills, y en especial con Maria Callas a quien echó del teatro en 1959.
Una de sus favoritas fue la soprano sueca Birgit Nilsson y la suiza Lisa della Casa a quien prefirió por sobre la alemana Elisabeth Schwarzkopf.
Durante su gestión, Herbert von Karajan produjo y dirigió El anillo del nibelungo de Richard Wagner.
Se casó en Berlín con la bailarina Nina Schelemskaya-Schlesnaya en 1928, permanecieron juntos hasta la muerte de ella en 1983.