House nació en Riverton, localidad cercana a Clarksdale, Misisipi, siendo el hermano mediano de 17.

Trabajó hasta 1942 en Robinsonville, Misisipi, con músicos como Charley Patton, Willie Brown, Robert Johnson, Fiddlin' Joe Martin y Leroy Williams.

Tras asesinar a un hombre, en supuesta defensa propia, pasó un tiempo en la Prisión del Estado de Misisipi, durante los años 1928 y 1929.

Posteriormente desapareció de la escena musical hasta la década de 1960 (periodo caracterizado por el resurgir del country blues), cuando, tras una búsqueda iniciada por Nick Perls, Dick Waterman y Phil Spiro en la región del Delta del Misisipi, fue "redescubierto" en 1964 en Rochester, Nueva York, localidad en la que vivía desde 1943; House estaba retirado de la escena musical y trabajaba para la New York Central Railroad, siendo completamente ajeno al entusiasmo internacional que reinaba por la reedición de sus primeras grabaciones.

Debido a ello, inició una serie de giras musicales por Estados Unidos y Europa, realizado grabaciones para la compañía CBS.