Sus padres eran los actores Georges Mertens y Fernande Depernay, que habían actuado en el cine mudo producido por la pionera productora "Belge Cinéma Film" (subsidiaria de Pathé).
En 1933 rodó su primera película en inglés, Bitter Sweet, historia que consiguió una mayor fama con la versión producida en 1940 con Jeanette MacDonald y Nelson Eddy.
Gravey volvió al cine como héroe de guerra, trabajando en producciones como La Ronde (con Danielle Darrieux), y Royal Affairs in Versailles (1954).
Tras la contienda hizo también incursiones teatrales, entre las que pueden mencionarse La Petite Hutte (1947), de André Roussin.
Fernand Gravey falleció en 1970 en París, Francia, a causa de un ataque al corazón.