El compositor y autor estadounidense Alec Wilder lo describía con "mucho talento, inventiva, sofisticación orientada hacia los grandes artesanos del jazz" de canciones pop en la primera mitad del siglo veinte.

Su primera composición, «Riverboat Shuffle», fue grabada por Bix and the Wolverines en 1924 y se convirtió en un estándar de Dixieland.

Carmichael, como pianista, vocalista y ocasional trompetista, abandonó la abogacía para centrarse en el jazz, concretamente tras grabar «Washboard Blues» con Paul Whiteman en 1927.

Hacia 1935 estaba trabajando en Hollywood y actuó como ocasional actor secundario, apareciendo en 14 películas, entre las que se cuentan títulos tan importantes como Tener y no tener (To Have and Have Not) y Los mejores años de nuestra vida (The Best Years of Our Lives).

Tras ello, medio se retiró, insatisfecho con los cambios del negocio musical.