Inicialmente tocaba también el trombón, y es con este instrumento que comienza en diversas brass bands de Nueva Orleans, a donde se traslada en 1906.
Trabaja con la Allen's Brass Band y con la banda de Jack Carey, antes de dirigir su propia banda (Tuxedo Brass Band), para actuar en el Tuxedo Hall, entre 1910 y 1913, año en que se cierra la sala.
Después de participar en diversas formaciones, vuelve a organizar su Tuxedo Orchestra (1925), graba varios discos y obtiene un éxito inesperado por todo el sur de la Unión.
A partir de 1930 comienza a alejarse de la música en activo, pero regresa con el resurgir del jazz tradicional, a partir de 1946, volverá a grabar discos y reeditará sus éxitos.
Celestin es una de las figuras más legendarias del jazz de Nueva Orleans, aunque su orquesta producía una música más elegante y refinada de lo usual en las bandas de la época.