Después de estudiar letras en Auxerre, obtuvo el primer puesto en el Institut des hautes études cinématographiques (IDHEC).
Hizo el servicio militar entre 1959 y 1961 en el Service Cinéma des Armées, en el fuerte de Ivry.
De vuelta a la vida civil en Francia, Jean Herman realizó cinco largometrajes, entre ellos la película Adieu l’ami (Adiós, amigo), en 1968, protagonizada por Alain Delon y Charles Bronson, y Jeff, con Alain Delon.
En los años setenta se aleja del cine para dedicarse a la escritura.
En 1989 gana el premio Goncourt con Un grand pas vers le bon Dieu, su consagración.