Cuando alcanzó un nivel adecuado de destreza con el instrumento, se unió a la formación familiar y luego, en 1926, entró a formar parte del conjunto de Alphonso Trent en Dallas.

Permaneció con Trent durante tres años y dedicó también algún tiempo a tocar con Jelly Roll Morton.

En 1930 regresó para trabajar una última temporada con Trent y luego se casó y se trasladó a Búffalo, donde formó su propio grupo y tocó en esa zona hasta 1935, cuando se unió a Cozy Cole y Jonah Jones para tocar de forma estable en el Onyx Club de la calle 52.

Un disco de 1936 con el tema «I'se A-Muggin'» fue un notable éxito ese año y confirmó la estatura musical del violinista.

Smith continuó dirigiendo un trío en los años cuarenta, pero las volubles modas del jazz le condenaron a tener poca repercusión.