Tras malas experiencias en breves estancias con Benny Goodman y Raymond Scott, O'Day consiguió un puesto en la orquesta de Gene Krupa en 1941.
Varias semanas más tarde, Krupa contrató al trompetista Roy Eldridge, formándose un trío que alcanzó grandes éxitos como «Let Me Off Uptown», «Boogie Blues» y «Just a Little Bit South of North Carolina».
Estuvo con Stan Kenton en 1944 y, finalmente, antes de su iniciar su carrera en solitario en 1946, otra vez con Krupa.
Anita O'Day fue siempre mucho más apreciada en el mundo del jazz que en el del pop, y así frecuentó las actuaciones en los festivales de jazz, apareciendo junto a figuras como Louis Armstrong, Thelonious Monk y George Shearing.
Trabajó con múltiples arreglistas y en muy variados estilos, incluyendo una colaboración llena de swing con Billy May (Anita O'Day Swings Cole Porter with Billy May), un disco íntimo con The Oscar Peterson Quartet (Anita Sings the Most), varios tradicionales con la Buddy Bregman Orchestra (Pick Yourself Up, Anita), uno de orientación cool con Jimmy Giuffre (Cool Heat) e incluso uno con ritmos latinos con Cal Tjader (Time for Two).