Recorrió Texas muy joven, con compañías ambulantes de comedias, hasta que se trasladó a Saint Louis, donde firmó contrato con la discográfica Okeh, obteniendo gran éxito con su primer sencillo, Black snake blues.

Su estilo estaba muy enraizado en el blues texano (Blind Lemon Jefferson), aunque a partir de 1929 lo modernizó, haciéndolo más agresivo y alejándose del music hall de sus comienzos.

Tocó con Lonnie Johnson, Louis Armstrong y Tampa Red, entre otros, antes de trasladarse a Nueva York, a final de los años 1950.

Actuaciones en Greenwich Village y grabaciones para Bluesville, la hicieron mantenerse en escena.

Creó además su propia discográfica, Spivey Records, en la que debutaron músicos como Luther Johnson, Sugar Blue o Bob Dylan.