Se cree que su padre fue el pianista y director de orquesta Walter "Fats" Pichon.

Con doce años ya encabezaba el cartel del Rhythm Club de Nueva Orleans junto a Alvin Howey.

[4]​ Palmer sirvió en el ejército de los Estados Unidos durante la Segunda Guerra Mundial.

Durante más de 30 años grabó innumerables temas para el cine y la televisión.

También participó en sesiones de jazz junto a David Axelrod, Dizzy Gillespie, Earl Bostic, Onzy Matthews y Count Basie, e incursionó en el blues junto a B. B. King.