Durante los años 1940, mientras sus amigos Bud Powell y Thelonious Monk se situaban en el centro de la escena evolutiva del jazz, Elmo permaneció en la sombra, tocando en clubs de baile del Bronx y Greenwich Village, junto al trombonista Leo Mosley.

Estos últimos serán sus acompañantes en su primer disco (Blue Note Records, 1953).

Tocará después con Clifford Brown, Jackie McLean y Sonny Rollins.

En 1957, tras haber grabado una sesión con Donald Byrd y John Coltrane, entre otros, se traslada a San Francisco (California), donde vuelve a encontrarse con Rollins y con Scott LaFaro.

Estas grabaciones, junto con las que realizó con Coltrane y Byrd en 1956, se publican por Milestone como un doble LP titulado The All-Stars Sessions.