Sus padres eran los actores Georges Mertens y Fernande Depernay, que habían actuado en el cine mudo producido por la pionera productora "Belge Cinéma Film" (subsidiaria de Pathé).

En 1913 y 1914 actuó en cuatro filmes mudos, pero su primer título de cierta importancia fue L'Amour Chante en 1930.

En 1933 rodó su primera película en inglés, Bitter Sweet, historia que consiguió una mayor fama con la versión producida en 1940 con Jeanette MacDonald y Nelson Eddy.

Gravey volvió al cine como héroe de guerra, trabajando en producciones como La Ronde (con Danielle Darrieux), y Royal Affairs in Versailles (1954).

Fernand Gravey falleció en 1970 en París, Francia, a causa de un ataque al corazón.