Nacido en Nueva Orleans, Luisiana, su hermano mayor, Jules, también fue un destacado músico profesional, instrumentista de banjo y líder de banda.
Otras de sus actividades en la década de 1920 fueron sesiones de grabación con los Original Memphis Five y una temporada tocando con los Scranton Sirens, formación en la cual también actuaban Tommy Dorsey y Jimmy Dorsey.
Durante su colaboración con la Orquesta de Bob Crosby, Bauduc consiguió fama nacional.
Junto al bajista Bob Haggart compuso los dos grandes éxitos de la formación: "South Rampart Street Parade" (un tema al estilo de los desfiles de Nueva Orleans que se grabó por primera vez en 1937), y "Big Noise from Winnetka" (un dúo de bajo y percusión tocado con Haggart y grabado en 1938).
También trabajó con Jimmy Dorsey (1948) y Jack Teagarden (1952–55) antes de reunirse con su antiguo compañero de los Bobcats Nappy Lamare en una exitosa banda de estilo dixieland que se mantuvo en escena hasta 1960, año tras el cual Bauduc entró en semiretiro y se asentó en San Antonio (Texas).