Estudió teoría musical y dirección de orquesta en Viena, con Arnold Schoenberg y Anton Webern.Posteriormente trabajó en Gera, Hamburgo, Berlín y Zúrich.Colaboró con Richard Strauss y Clemens Krauss en la elaboración del libreto de la ópera Capriccio.Dio clases de dirección en la Universidad de Música y Arte Dramático de Viena, escuela en la que enseñó a algunos de los más grandes directores de la segunda mital del siglo XX, entre ellos Claudio Abbado, Ulf Söderblom, Jacques Delacote, Theodor Guschlbauer, los hermanos Ádám e Iván Fischer, James Allen Gähres, Christoph Haas, Mariss Jansons, Zubin Mehta, Giuseppe Sinopoli, Peter Schneider, Bruno Weil y, entre los españoles, Jesús López Cobos, Miguel Ángel Gómez Martínez y Luis Antonio García Navarro.Las conferencias y ensayos de Swarowski sobre interpretación y dirección orquestal fueron reunidos en la publicación Wahrung der Gestalt (Preservar la forma).