Posteriormente fue contratado como aprendiz de dirección en el Teatro des Mathurins dirigido por Marcel Herrand.

Su papel de Gaston Duvet en el folletín radiofónico La Famille Duraton dio a conocer su voz en los años 1950.

Su renombre internacional se confirmó en 1976 con el film La Victoire en chantant, y su fama en Francia llegó gracias a Le Grand Blond avec une chaussure noire.

Jean Carmet falleció en 1994 en París, siendo enterrado en el Cementerio de Montparnasse.

Había tenido dos hijos : Olivier, abogado en París, y Jean-François, autor de la biografía Carmet intime.