Comenzó sus estudios musicales a los 8 años tomando clases de trompeta.

[5]​ Se desempeñó como director musical del Festival Mostly Mozart de Nueva York entre 1982 y 2001.

[8]​ En 2011 se inauguró e instaló un retrato de Schwarz realizado por la artista Michele Rushworth en el Benaroya Hall.

Amplió la audiencia del festival al mayor de su historia, mejoró la educación y la programación para incluir un compositor residente y tres nuevas series de conciertos y aumentó la colaboración con An Appalachian Summer Festival, donde es socio artístico para la programación de música sinfónica.

Como trompeta solista, Schwarz ha grabado los conciertos de Franz Joseph Haydn y Johann Nepomuk Hummel para la compañía discográfica especializada en música clásica Delos Productions.