Comenzó su carrera musical en Misisipi junto al armonicista Rice Miller (más conocido como Sonny Boy Williamson II), con el que permaneció varios años hasta que consiguió su primer contrato de grabación en 1951.
Fue entonces cuando se trasladó a Chicago, donde inició su carrera solista acompañado del grupo "The Broomdusters".
Su estilo sin trabas y apasionado se distinguía por el sonido característico del slide blues, que puede apreciarse en canciones como "Dust My Broom", "I Believe" o "It Hurts Me Too".
Es nombrado por los Beatles en la canción «For You Blue» del disco Let It Be, así como por el grupo granadino 091 en la canción "Qué fue del Siglo XX".
“Dust My Broom” fue grabado por Fleetwood Mac, “Bleeding Heart” por Jimi Hendrix, “Rollin' 'n' Tumblin'” por Canned Heat y Eric Clapton, entre otros.