Esto ocurrió en Vilna (Lituania, que entonces formaba parte del Imperio ruso).

Fue un niño prodigio e hizo su debut público a los 7 años en Kovno (actualmente Kaunas, Lituania) tocando el Concierto para violín en mi menor, de Felix Mendelssohn.

[cita requerida] Heifetz tocó el violín en Alemania y en Escandinavia, y conoció a Fritz Kreisler en una fiesta privada en Berlín, junto con muchos otros violinistas notables que también asistieron.

Kreisler, tras acompañar al piano al joven Heifetz (en ese entonces, de 12 años) mientras este tocaba el Concierto de Mendelssohn, dijo a todos los presentes: «Podríamos romper nuestros violines contra las rodillas».

En abril de 1911 dio un concierto al aire libre en San Petersburgo frente a 25 000 espectadores.

Como Heifetz contaba entonces con 16 años, quizá haya sido la persona más joven en ser elegida miembro por esta organización.

Cuando le dijo a su admirador Groucho Marx que se había estado ganando la vida como músico desde los siete años, Groucho le contestó: «Y supongo que antes de eso era usted un simple holgazán».

El violinista Itzhak Perlman, famoso por su tono rico y cálido y su uso expresivo del portamento, describe el tono de Heifetz como «un tornado», debido a su intensidad emocional.

Durante toda su carrera utilizó cuerdas de tripa, planas y sin barnizar.

[cita requerida] Heifetz realizó sus primeras grabaciones en Rusia en 1910-1911, cuando era pupilo de Auer.

Durante varios años durante la década de 1930, grabó sobre todo con HMV en el Reino Unido debido a que Victor dejó de realizar grabaciones clásicas, por la Gran Depresión; estos discos los distribuyó Victor en Estados Unidos.

[cita requerida] Heifetz grabó el Concierto para violín de Beethoven en 1940 con la NBC Symphony Orchestra, dirigida por Arturo Toscanini, y lo volvió a grabar en estéreo, esta vez con la Boston Symphony Orchestra dirigida por Charles Münch.

Grabadas principalmente en estudios pequeños, las interpretaciones remasterizadas digitalmente cuentan con un sonido extremadamente claro y de gran fidelidad.

No obstante, Heifetz regresó pronto a RCA Victor, donde continuó realizando grabaciones hasta la década de 1970.

Mientras que sus grabaciones del período comprendido entre los años 1930 y 1945 muestran a un típico violinista neorromántico de la Escuela Rusa[cita requerida], las grabaciones realizadas después de la Segunda Guerra Mundial son más templadas, objetivas y aristocráticas[cita requerida].

Heifetz redujo el uso de su portamento, y su vibrato se convirtió en una aguda herramienta que añadía un efecto dramático a su fogoso sonido.[cita requerida].

No obstante, las amenazas siguieron llegando y la sonata se omitió en el siguiente recital sin dar ninguna explicación al respecto.

Había un cierto consenso dentro del mundo musical soviético sobre Heifetz y su maestro Leopold Auer: se los consideraba traidores a su patria natal, ya que ambos habían abandonado la Unión Soviética por Estados Unidos, en el caso de Heifetz a una edad muy temprana.

Heifetz se dedicó a la pedagogía del violín con mucha intensidad, primero en el UCLA, y después en la University of Southern California, junto con su amigo Gregor Piatigorsky.

Durante su carrera como docente, Heifetz enseñó, entre muchos otros, a Erick Friedman, Carol Sindell, Adam Han-Gorsky, Robert Witte, Yuval Yaron, Elizabeth Matesky, Claire Hodgkins, Yukiko Kamei, Rudolf Koelman, Varujan Kojan, Sherry Kloss, Elaine Skorodin, Eugene Fodor, y Ayke Agus.

Heifetz dejó en su testamento el violín Tononi, que utilizó en su debut del Carnegie Hall, a Sherry Kloss, su ayudante en las tareas de docencia, así como «uno de mis cuatro arcos buenos».

La pareja tuvo dos hijos más: Josefa (nacida en 1930) y Robert (1932-2001) antes de divorciarse en 1945.

Heifetz apareció en la película They Shall Have Music (1939) dirigida por Archie Mayo y escrita por John Howard Lawson e Irmgard von Cube.