Su infancia es un tanto misteriosa, con fuentes que indican diferentes fechas de nacimiento, entre 1887 y 1897.
Se dice que nació en White Castle (Luisiana).
[1] Petit comenzó su carrera profesional siendo aun adolescente, tocando en la Young Olympia Band y coliderando un grupo junto a Jimmie Noone.
Okeh Records le ofreció la oportunidad de grabar en 1925 pero Petit exigió más dinero del que le ofrecían y nunca llegó a hacerlo.
Danny Barker y Louis Armstrong dijeron que fue una gran pérdida para la historia del jazz que no se hubieran registrado nunca grabaciones de Petit.