Su madre, Marie Ettinger, provenía de una familia rabínica austriaca y su padre, Abraham Horenstein, era ruso.

En 1920 se trasladó a Berlín actuando como director del Coro Schubert de Berlín y del Coro Gemischtery y después trabajó como ayudante de Wilhelm Furtwängler.

Durante esos años fue un director comprometido con la música contemporánea y realizó diversas grabaciones discográficas.

[2]​ Regresó a Europa una vez finalizada la guerra y se radicó en Lausana, Suiza.

En los ensayos ejecutaba largos pasajes para buscar la coherencia y unidad interpretativa, dando menos importancia a los detalles.

Como conocedor de la filosofía oriental, Horenstein utilizaba técnicas de respiración que hacían que sus silencios y contrastes le otorgaran mucha tensión a los pasajes sonoros.

Era comparado con Leopold Stokowski, con quien tenía muchos puntos en común sin alcanzar su trascendencia interpretativa.

[4]​ Dirigió obras de Bruckner y Mahler durante toda su carrera.

[9]​ Fue advertido por sus doctores para reducir su carga de trabajo, pero continuó dirigiendo.