Nació en 1950 en la ciudad rumana de Satu Mare, pero se crio en Israel.
Posteriormente estudió con Franco Ferrara en Siena y Roma, con Kiril Kondrashin en Países Bajos, y en la Guildhall School of Music and Drama de Londres.
En 1978 ganó el primer premio en el famoso Concurso Internacional para Jóvenes Directores de Besanzón.
En 1988 Levi se convirtió en el director musical y principal de la Orquesta Sinfónica de Atlanta (ASO).
Levi consiguió ser director musical emérito en 2000, siendo sucedido por Robert Spano.