Fue en el Reino Unido donde desarrolló la parte final de su carrera artística.

Alumno del compositor Hans Gál, hizo su debut como director en Düsseldorf en 1924.

Se trasladó a Karlsruhe en 1927 como primer director de la orquesta de la ciudad, pero fue expulsado por el régimen nazi en abril de 1933 debido a su condición de judío.

Permaneció en prisión entre 1939 y 1940, fue obligado a hacer trabajos forzados en 1941 y volvió a ser arrestado en 1942.

Schwarz grabó numerosas obras sinfónicas del repertorio romántico y posromántico, y acompañó a los mejores solistas de su momento.