Nacido en una familia musical, se inició con la batería, aunque se cambió pronto a la corneta, animado por su hermano mayor, Jack Carey, que tocaba el trombón.
Es en la banda de su hermano, donde comienza a trabajar, en 1913, aunque muy rápidamente (1914) es captado por Kid Ory para su orquesta.
En 1917, tras el cierre de Storyville, como tantos otros, sube a Chicago, junto con Johnny Dodds, aunque regresa pronto.
Después, con la crisis del hot, deja de tocar, salvo esporádicamente, hasta que, en 1944, Ory lo reengancha en su Dixieland Jubilee, hasta 1947, año en que participa junto con Louis Armstrong en el film Nueva Orleans.
Sin embargo, sus grabaciones muestran un fraseo poco brillante y un aliento débil como solista.