En este tiempo, conoció a músicos como Charlie Patton, quien sería su mayor influencia, y que le bautizó como Poor Joe.

De todos sus temas, el más conocido es Baby, please don't go.

Entre 1956 y 1963, realizó innumerables grabaciones, junto con músicos como el armonicista Sam Fowler o Bob Dylan.

Después participó en el American Folk Blues Festival de 1963, que supuso el comienzo del revival del blues moderno, viajó por Europa e impulsó la carrera de su ahijado, Charlie Musselwhite.

Con un estilo muy cercano al tradicional blues del Delta, creaba una tensión dramática intensa con su canto arisco, su estilo rítmico con los bajos muy marcados, entrecortados por notas agudas que extraía de su guitarra de nueve cuerdas.