Su nombre completo era Jacques Joseph Félix Fernand Ledoux, y nació en Tirlemont, Bélgica.
Aunque el cine le hizo un actor popular con casi 80 películas, Ledoux fue, ante todo, un hombre de teatro.
En 1938, Pierre Dux, Fernand Ledoux y Alfred Adam iniciaron unos cursos teatrales en un estudio localizado en el último piso del Teatro Pigalle.
En 1942, durante la Segunda Guerra Mundial, abandonó sus actividades en la Comédie-Française para evitar actuar ante los ocupantes alemanes, dedicándose exclusivamente al cine.
Entre los grandes directores para los cuales actuó figuran Orson Welles, Jacques Demy y Claude Chabrol.