Como compositor (reconocido especialmente por sus composiciones blusísticas), sus canciones han sido grabadas por músicos como The Clash ("Look Here"), The Who ("Young Man Blues"), Leon Russell ("I'm Smashed"), Bonnie Raitt ("Everybody's Cryin' Mercy") y Jorge Drexler («I don't worry about a thing»).

Es admirado por Tom Waits, John Mayall, Georgie Fame, the Rolling Stones y Van Morrison.

Allison ha asegurado que Jordan es su principal influencia, además de Nat "King" Cole, Louis Armstrong y Fats Waller.

Allison comenzó su carrera discográfica con el sello Prestige, en 1956, muy poco después de haberse trasladado a Nueva York.

Un gran momento fue su oportunidad de tocar con Cohn y Zoot Sims poco después de llegar a la ciudad, aunque más tarde sería conocido por haber tocado con el saxofonista Stan Getz.