Comenzó su carrera con la viola, tocando en la Orquesta de la Gewandhaus de Leipzig bajo la dirección de Wilhelm Furtwängler.
Posteriormente se hizo director, uniéndose a la Ópera de Stuttgart en 1927.
Desde 1949 hasta su muerte fue director principal de la Orquesta de la Gewandhaus de Leipzig.
Entre 1953 y 1955 también fue director principal de la Orquesta Estatal Sajona de Dresde, y desde 1955 hasta su muerte dirigió la Ópera Estatal de Berlín.
Recibió el sobrenombre de Kon-whisky debido a su afición a la bebida.