A los doce años ya dirigía, en Boston, una banda juvenil de jazz tradicional, los Six Novelty Syncopators, tocando después en diversas bandas locales, hasta su traslado a Chicago, con veinte años, para tocar con George Wettling.

En 1929 tocará con Red Nichols y, desde 1930, trabajará con un gran número de grupos, grabando con músicos como Mezz Mezzrow, Benny Goodman, Eddie Condon o Joe Venuti.

En 1936 entra a formar parte de la big band de Tommy Dorsey y, en los años siguientes, colabora con Pee Wee Russell, Willie "The Lion" Smith, Joe Albany y Ray Noble.

Instalado en Nueva York, toca en clubs con Jimmy Ryan o con Eddie Condon hasta casi el día de su muerte.

Aunque suele asimilarse la figura de Kaminsky al estilo dixieland, lo cierto es que fue primer trompeta en las principales big bands del periodo swing, en las que adquirió una especial "autoridad" en el desarrollo de pasajes colectivos.