Grabó álbumes con el saxofonista Lou Donaldson para Blue Note antes de firmar como solista.

[3]​ Formó parte de varios conjuntos vocales en la década de 1950, incluidos los Teen Kings, que incluían a Grover Washington Jr., al saxo y su hermano Daryl a la batería.

Numerosos destacados artistas de jazz se unieron a Smith en sus álbumes y en sus presentaciones en vivo, incluidos Lee Morgan, David "Fathead" Newman, King Curtis, Terry Bradds, Blue Mitchell, Joey DeFrancesco y Joe Lovano.

[10]​ Blue Note contrató a Smith en 1968 y lanzó cinco álbumes con el sello, [11]​ incluido Think!

[7]​ En 1971 grabó un álbum para el sello CTI de Creed Taylor, [7]​ que ya había contratado a George Benson.

Presenta a Iggy Pop en dos pistas vocales de estudio, "Why Can't We Live Together" y "Sunshine Superman".

Durante este período se concentró en gran medida en locales de barrio más pequeños.

También tocó con músicos ajenos al jazz, como Dionne Warwick, Gladys Knight, [36]​ y Etta James.

[2]​ [38]​ Matt Collar de AllMusic sugirió que el turbante era un gesto teatral para sus puntos de vista espirituales sobre la música, [7]​ pero el propio Smith dijo que no sabía por qué comenzó a usar un turbante e hizo referencia al icónico sombrero del mohawk de Sun Ra y Sonny Rollins.

[38]​ [40]​ Con Eric Allison Con George Benson Con Lou Donaldson Con Richie Hart Con Red Holloway