Su madre, Marie Ettinger, provenía de una familia rabínica austriaca y su padre, Abraham Horenstein, era ruso.
En 1920 se trasladó a Berlín actuando como director del Coro Schubert de Berlín y del Coro Gemischtery y después trabajó como ayudante de Wilhelm Furtwängler.
Su trabajo en Düsseldorf fue el único puesto permanente de director musical en su carrera.
Durante esos años fue un director comprometido con la música contemporánea y realizó diversas grabaciones discográficas.
[2] Regresó a Europa una vez finalizada la guerra y se radicó en Lausana, Suiza.
En los ensayos ejecutaba largos pasajes para buscar la coherencia y unidad interpretativa, dando menos importancia a los detalles.
Como conocedor de la filosofía oriental, Horenstein utilizaba técnicas de respiración que hacían que sus silencios y contrastes le otorgaran mucha tensión a los pasajes sonoros.
Era comparado con Leopold Stokowski, con quien tenía muchos puntos en común sin alcanzar su trascendencia interpretativa.
[9] Fue advertido por sus doctores para reducir su carga de trabajo, pero continuó dirigiendo.