Algunos autores afirman que Brown era hermanastro de Big Bill Broonzy, y que emigró a Chicago en los años 1920.
Su primera grabación fue en 1935, y su tema Diggin' my potatos se convirtió en un gran éxito de ventas.
Compositor fecundo y acompañante de muchos bluesmen en sus grabaciones, como es el caso del propio Broonzy, de Lester Melrose, Jazz Gillum o Victoria Spivey.
Estuvo en el sello Bluebird hasta 1949, y después pasó a Chess Records.
Aunque vivió en Chicago toda su carrera, su estilo jazzy, repleto de swing y muy humorístico, estaba en las antípodas del estilo eléctrico de Chicago.