Posteriormente dirigió brevemente el grupo de Detroit McKinney's Cotton Pickers[5]​ antes de volver a Nueva York en 1932 y dirigir su propio grupo, en el que había estrellas del swing como Chu Berry (saxofón tenor), Teddy Wilson (piano), Sid Catlett (percusión), y Dicky Wells (trombón).

La primera grabación en la que se leía el nombre de Carter fue el disco de 1932 del sello Crown "Tell All Your Day Dreams to Me", siendo acreditado como Bennie Carter and his Harlemites.

Estas grabaciones se editaron en Inglaterra con el título de Spike Hughes and His Negro Orchestra.

Los músicos eran principalmente miembros del grupo de Carter, y se encontraban entre ellos Red Allen (trompeta), Dicky Wells (trombón), Wayman Carver (flauta), Coleman Hawkins (saxofón), J.C.

[7]​ Entre otros temas estaban "Nocturne," "Someone Stole Gabriel's Horn," "Pastorale," "Bugle Call Rag", "Arabesque," "Fanfare," "Sweet Sorrow Blues," "Music at Midnight," "Sweet Sue Just You," "Air in D Flat," "Donegal Cradle Song," "Firebird," "Music at Sunrise," y "How Come You Do Me Like You Do".

En los siguientes tres años viajó por Europa, tocando y grabando con los principales músicos de jazz británicos, franceses y escandinavos, así como visitando a estrellas estadounidenses como su amigo Coleman Hawkins.

Una grabación destacada es la que hizo en 1937, "Honeysuckle Rose," grabada con Django Reinhardt y Coleman Hawkins en Europa.

[8]​ En Hollywood escribió arreglos para Billie Holiday, Sarah Vaughan, Billy Eckstine, Pearl Bailey, Ray Charles, Peggy Lee, Lou Rawls, Louis Armstrong, Freddie Slack y Mel Torme.

En febrero de 1990 Carter lideró una banda con grandes estrellas en el Lincoln Center en un concierto homenaje a Ella Fitzgerald.

Se ha dicho que es el único músico en haber grabado a lo largo de ocho diferentes décadas.

También recibió el Jazz at Lincoln Center Award for Artistic Excellence y su música fue interpretada por la Orquesta de Jazz del Lincoln Center con Wynton Marsalis, Diana Krall y Bobby Short.