Entre 1923 y 1926, por encargo del ayuntamiento de Roma, fundó y dirigió un coro masculino destinado a la formación musical de los obreros, el cual consiguió bastante renombre no solo por el rigor de sus interpretaciones, sino porque además del repertorio popular acometía obras de los clásicos y de compositores del momento que escribían expresamente para él.

Desde 1937 hasta 1944 dirigió la orquesta del Maggio Musicale Fiorentino, a la vez que iniciaba una espléndida carrera internacional coma director de óperas y de conciertos.

Fue director de esta formación durante veintitrés años, elevándola al más alto nivel interpretativo y realizando múltiples giras por todo el mundo.

En calidad de director invitado, también dirigió las más prestigiosas orquestas europeas e hizo numerosas grabaciones.

En 1953 fue galardonado con el Premio Internacional "Arnold Schönberg" por la difusión de la música contemporánea, pues Mario Rossi fue el uno de los directores pioneros en programar regularmente obras de Luigi Dallapiccola, Goffredo Petrassi y Gian Francesco Malipiero, entre otros.