Hijo de inmigrantes judíos rusos, acudió a la Lane Technical College High School y estudió en la Universidad Roosevelt, donde obtuvo un graduado en Economía.

El resultado fue Gate of Horn, un club en el sótano del antiguo Rice Hotel, donde empezó su carrera Roger McGuinn.

Con los años, Grossman engrosó su lista de representaciones con músicos como Todd Rundgren, Odetta, Peter, Paul and Mary, John Lee Hooker, Ian and Sylvia, Phil Ochs, Gordon Lightfoot, Richie Havens, The Pozo Seco Singers, The Band, Electric Flag, Jesse Winchester y Janis Joplin.

Grossman también extendió su hospitalidad con Dylan al dejarle quedarse por temporadas en su hogar de Woodstock (Nueva York), donde el músico acabó por adquirir su propia casa en 1965.

[5]​ Grossman rechazó hacer comentarios a la prensa, y delegó en su empleada Myra Friemdan cualquier llamada telefónica sobre la muerte de Joplin.