Hijo del también director Neeme Järvi y su esposa Liilia.
Comenzó sus estudios musicales (percusión y dirección de orquesta en Tallin, pero en 1980 se trasladó con toda la familia a los Estados Unidos, para completar su formación en el Curtis Institute of Music de Filadelfia con Max Rudolf y Otto-Werner Mueller y en "Los Angeles Philharmonic Institute" con Leonard Bernstein.
Trabajó después como director invitado principal con Andrew Davis en la Kungliga Filharmoniska Orkestern de Estocolmo (1995–1998) y en 1996-1999 en la Orquesta Sinfónica de Birmingham.
A partir de la temporada 2015/2016, además es el director titular del NHK Symphony Orchestra.
Su repertorio es amplísimo, pero muestra especial predilección por la música francesa, rusa y escandinava, además de la obra de algunos compositores estonios como Arvo Pärt.