Sus padres eran pianistas y a los diez años lo iniciaron en el instrumento.

Desde los años veinte tocó en clubes locales y trabajó como taxista.

En 1934 formó su propia banda, los Rhythm Kings, para tocar en el club De Lisa y dos años después inició su carrera discográfica con la grabación de "Boogie-Woogie Stomp", uno de los temas emblemáticos del boogie-woogie.

Su período más exitoso se inició gracias a su participación en el concierto From Spiritual to Swing organizado por John Hammond y celebrado en el Carnegie Hall de Nueva York en 1938.

Ammons, quien también actuaría en la versión del evento realizada en 1939 acompañando a Big Bill Broonzy, continuaría en Nueva York su carrera discográfica y realizaría numerosas giras, varias de ellas a dúo con Pete Johnson.