Cannon adquirió sus habilidades musicales sin ningún tipo de formación previa: él mismo aprendió a tocar utilizando un instrumento improvisado creado a partir de una sartén y piel de mapache.
Comenzó tocando en Memphis en los primeros años de la década de 1900 con Noah Lewis y Jim Jackson; posteriormente trabajó en los medicine show en 1914.
Cannon comenzó a grabar en 1927, tanto en solitario como con Hosea Wood, Blind Blake y Ashley Thompson; a pesar de ello Cannon se retiró hacia los últimos años de la década de 1930, volviendo en 1956 a realizar grabaciones con la discográfica "Folkways Records".
En la década de 1960 realizó una de sus últimas grabaciones con su amigo Will Shade, el anterior componente principal de The Memphis Jug Band.
Algunas de las canciones que grabó con los Cannon's Jug Stompers son "Minglewood Blues", "Pig Ankle Strut", "Viola Lee Blues", "White House Station" y "Walk Right In".