Sustituye a la desaparecida Orquesta Filarmónica Alemana de Praga (1939–1945), dirigida por Joseph Keilberth entre 1940 y 1945.

[1]​ Desde su creación, la orquesta se ha distinguido por sus numerosas giras por el extranjero, lo que junto a sus grabaciones (especialmente las que realizó bajo la batuta de Keilberth) la han convertido en una orquesta muy popular.

La orquesta está asociada con la trienal Competición de Dirección Gustav Mahler, creada durante el mandato de Nott, y el primer laureado con el premio fue Gustavo Dudamel en 2004.

Entre los demás directores principales se encuentran Eugen Jochum, James Loughran y Horst Stein, quienes también ostentaban el título de director honorario de la orquesta.

Desde enero de 2000 hasta 2016 el director musical ha sido el británico Jonathan Nott.