Su verdadero nombre era Jacques Marie Paul Éloi Storms, y nació en Amberes, Bélgica.

Sus padres eran Paul Éloi Storms y la poetisa Gabrielle Castelot, y su hermano el historiador André Castelot.

En 1940 se casó con la actriz Héléna Bossis, futura directora del Teatro Antoine, divorciándose ambos en 1945.

Castelot actuó en más de 80 filmes entre 1937 y 1988, interpretando a menudo papeles de aristócrata.

Como actor teatral, destacan sus interpretaciones en Las manos sucias, de Jean-Paul Sartre, y en Ardèle ou la Marguerite, de Jean Anouilh.