Nacido en Omaha, Nebraska, pasó sus primeros años en San Francisco, California, y Cincinnati, Ohio, graduándose de Woodward High School en 1960.

Algunas de sus grabaciones, como el disco New York Counterpoint, toca tanto jazz como música moderna.

El resultado fue The Duke, Swee'pea and Me, una pieza orquestral con una duración de once minutos, la cual Stoltzman la llegó a presentar en todo el mundo.

Benny Goodman fue su primer maestro de música y fue una gran influencia durante toda su carrera.

Stoltzman le dijo a Allan Kozinn sobre el periódico New York Times, "Cuando tenía siete años...

Disfrutaba mucho tocarlo... y vagamente recuerdo verlo colgar desde la ventana del segundo piso de mi casa.

Esto me causó un gran revuelo ya que pertenecía a mi padre.

Era el invitado especial con la Orquesta de la sociedad infantil en "Alice Tully Hall" del "Lincoln Center" en el 2004.