William Howard Taft Armstrong nació en Dayton (Tennessee) y creció en la localidad de LaFollette, del mismo estado.

[1]​ Siendo adolescente, aprendió por sí mismo a tocar el violín y se unió a una banda dirigida por Blind Roland Martin y su hermano Carl Martin con la que realizó una gira por los Estados Unidos interpretando una amplia gama de música.

[2]​ [3]​ Las primeras grabaciones de Armstrong son rags country o blues, pero este no fue su único repertorio como intérprete.

[4]​ [5]​ Tras de servir en el ejército durante la Segunda Guerra Mundial, Armstrong se mudó a Detroit, donde trabajó en la industria automotriz hasta 1971.

Con un resurgimiento del interés por la música afroamericana antigua, Martin, Bogan y Armstrong se volvieron a unir.

[2]​ Por esta época, tanto Armstrong como Bogan fueron contactados por el cineasta Terry Zwigoff, un fanático de su grabación "State Street Rag".