Contratado en 1970 por el grupo Saint-Gobain, en 1982 se convirtió en presidente del consejo de administración de Pont-à-Mousson SA.
En la década de 1980, se incorporó a la Fundación Saint-Simon.
Tras las elecciones legislativas de 1986 y la nominación del conservador Jacques Chirac como primer ministro, fue nombrado presidente del nuevo grupo Usinor.
Fue reelegido en su cargo en 1995, tras la privatización del grupo, y en 2002 pasó a denominarse Grupo Arcelor.
En abril de 2011, debido al cambio de estructura de Safran, Jean-Paul Herteman se convirtió en director general y Francis Mer en vicepresidente.