Después de haber cumplido con el servicio militar, se matriculó en 1948 en la Hamilton School of Music, donde estudió el contrabajo, y en 1949 y 1950 estuvo en Filadelfia en la Ornstein School of Music en la especialidad de piano.
A comienzos de los años cincuenta, durante su estancia con la formación, casi de rhythm and blues, Don Gardner And His Sonotones, Smith empezó a tocar el órgano Hammond en 1951 y pronto alcanzó una gran reputación que le siguió hasta Nueva York, donde debutó en el Café Bohemia.
Sus grabaciones para Blue Note incluyen tanto grabaciones en trío como colaboraciones con artistas como Wes Montgomery, Kenny Burrell, Lee Morgan, Lou Donaldson, Tina Brooks, Jackie McLean, Ike Quebec y Stanley Turrentine, entre otros.
Regresó a Blue Note en 1985, produciendo nuevos discos de gran calidad.
Tras unos cinco años de retiro, Smith regresó a comienzos de 2001 con nuevos proyectos y centrado sobre todo en actuaciones en directo en grandes festivales y clubes pequeños.