En 1929 sustituyó a Arturo Toscanini como director artístico de La Scala debutando con La fanciulla del West de Puccini y una hoy legendaria versión de Tristán e Isolda de Wagner con Giuseppina Cobelli (Isolde) y Renato Zanelli (Tristan) que lo llevaría al Festival de Bayreuth en 1939 como el segundo director no alemán en dirigir en el teatro del festival (el primero había sido Toscanini en 1930).

En 1939 dirigió la Orquesta Filarmónica de Berlín, las autoridades nazis se lo permitieron sin objetar su origen judío por parte de madre, debido a la amistad personal del compositor con Benito Mussolini.

Al finalizar la Segunda Guerra Mundial actuó en Londres, Edimburgo, Chicago, Nueva York, Boston y Buenos Aires dejando de dirigir en 1954 por problemas de salud.

Dejó magníficas grabaciones, entre ellas una versión del Requiem de Verdi con Elisabeth Schwarzkopf, Oralia Domínguez, Giuseppe Di Stefano y Cesare Siepi, aunque su más célebre contribución es la completa de la ópera Tosca en 1953 protagonizada por Maria Callas, Giuseppe Di Stefano y Tito Gobbi a menudo vista como la más perfecta grabación en discos de esa ópera.

El Premio que lleva su nombre fue establecido para promover jóvenes músicos.