Abandonó su casa con sólo diez años y se dedicó a tocar en espectáculos de minstrel y medecine shows.

Durante los años 1930, McGhee formó una banda propia, con dos guitarras, armónica y tabla de lavar.

En una de sus actuaciones, Bull City Red les presentó a Blind Boy Fuller y a Sonny Terry.

[1]​ Al fallecer Fuller en 1940, McGhee se fue a Nueva York, con Sonny Terry.

McGhee se instaló en Los Ángeles, donde siguió tocando de forma esporádica, hasta su fallecimiento.