Comenzó su carrera musical a la edad de 11 años tocando el bombo con el Square Deal Social & Pleasure Club.

Fue baterista, vocalista y líder asistente de la Treme Brass Band ; conocido también por su forma de tocar el kazoo y por su canto, y ha grabado un CD como vocalista.

Además de inspirar a músicos más jóvenes con su forma de tocar, sirvió como modelo a seguir para muchos de ellos: el trompetista Kermit Ruffins llama a Batiste su "influencia total", diciendo que Batiste "le enseñó cómo actuar, cómo vestirse, cómo sentirse acerca de la vida".

[1]​ A nivel internacional, Batiste ha servido como líder del desfile diario Moldejazz desde el año 2000.

Fue rey del Krewe du Vieux en 2003.