A los dieciséis años entró a trabajar en la fábrica donde trabajaba su padre, inmediatamente inició procesos de huelga contra el uso del fósforo blanco que dejó ciego a su padre, motivo por el que fue despedido.

En 1906 fue escogido como jefe y representante en la Confederación General del Trabajo (CGT), donde su capacidad de trabajo le permitió ir escalando posiciones internas.

Antes de 1909 ya había conseguido convertirse en tesorero y aquel año fue designado Secretario General, un cargo que desarrolló hasta 1947.

En su cargo Jouhaux promovió diversas mejoras para el trabajador, consiguiendo así la jornada laboral de 8 horas, el derecho a sindicación, la firma de Convenios Colectivos así como el derecho a tener vacaciones pagadas.

Gracias al gobierno del Frente Popular Francés (Comunistas, socialistas y radicales) durante la Tercera República Francesa Jouhaux consiguió firmar con el gobierno estas mejoras laborales en los Acuerdos de Matignon de 1936.