Tuvo sus inicios profesionales al final de la década de los veinte, con el pianista Jelly Roll Morton, y se convirtió para siempre en el Batería Cozy Cole.

Posteriormente actuó con el saxofonista Benny Carter y la orquesta de Cab Calloway.

El 1949 se integró en la orquesta All Stars, del trompetista Louis Armstrong, con la cual hizo giras y grabaciones hasta el 1953.

Después de abandonar els All Stars, formó su propio conjunto, que se disolvió en 1969; en ese mismo año se incorporó al de su amigo y colega Jonah Jones.

Posteriormente fundó en Nueva York, con el destacado batería Gene Krupa, la escuela Cole-Krupa de Percusión.