Se trasladó con su familia de origen judío a San Francisco cuando tenía un año.

En 1940, Stern empezó a actuar con el pianista de origen ruso Alexander Zakin, colaborando hasta 1977.

También dobló a varios actores que aparentaban estar tocando el violín en filmes, un ejemplo de esto es El violinista en el tejado, donde es responsable del violín solista en la partitura adaptada y dirigida por John Williams, compositor con quien trabajarían posteriormente los estudiantes de Stern Itzhak Perlman y Yo-Yo Ma.

En 1999 aparece en la película Música del corazón, junto con Itzhak Perlman y muchos otros famosos violinistas, con una orquesta de jóvenes dirigida por Meryl Streep (la película estuvo basada en la historia real de un profesor de violín en Harlem que consiguió hacer que sus alumnos pudiesen tocar un concierto en el Carnegie Hall).

También entre sus últimas grabaciones se pueden destacar la serie dedicada a las Sonatas para violín de Mozart, junto con el pianista Yefim Bronfman.

Respecto al gran repertorio sus grabaciones de conciertos célebres para violín y orquesta, dirigido por Bernstein y Ormandy son muy buenas, aunque no se consideren de referencia.

Algo parecido ocurre con sus grabaciones de sonatas para violín y piano con su acompañante habitual durante tantos años, Alexander Zakin, o de la música de cámara para trío con el conjunto estable que formó Stern con el pianista Eugene Istomin y el violonchelista Leonard Rose.

Para entenderlo mejor, construiremos un símil con alguien que nos hace la magia y además nos enseña el truco.

En 1997 en reconocimiento a su carrera artística las autoridades de Carnegie Hall bautizaron en su honor el auditorio principal de 2,804 butacas y cinco niveles con el nombre del virtuoso violinista.

Anteriormente había sido tocado por el violinista virtuoso y compositor Eugène Ysaÿe.