Smith se unió a la banda de Muddy Water, junto con George "Mojo" Buford, Luther Tucker, Pat Hare, y Otis Spann en 1961, marchándose poco después para trabajar como taxista.
En 1980, Smith y otros miembros de la banda, Pinetop Perkins, Calvin Jones, y Jerry Portnoy, se marcharon para formar The Legendary Blues Band con un veterano del blues de Chicago, Louis Myers, apareciendo en la película The Blues Brothers (1980) como la banda de John Lee Hooker.
Su primer trabajo en solitario fue Bag Full of Blues (1995) con Pinetop Perkins, Kim Wilson, James Wheeler, Nick Moss, y Gareth Best.
En 1999, grabó con el hijo de Muddy Waters, Big Bill Morganfield en su álbum Rising Son.
Su álbum Way Back (2006) también incluía a Pinetop Perkins, con James Cotton como músico invitado.