Su padre, el capitán John Gray, había sido muerto en Irak cerca del tiempo de su nacimiento.

John Willoughby Gray sirvió con distinción durante la Segunda Guerra Mundial.

Durante la mayor parte de la campaña en Europa mandó una patrulla con 11 División Blindada.

Aunque ensombrecidas por su carrera de teatro Gray hizo un número de películas muy populares, en particular La momia (1959), como un sacerdote en la película de Laurence Olivier Ricardo III, la película de James Bond A View to a Kill (1985) como el retirado médico nazi y esbirro del villano Max Zorin (Christopher Walken) Karl Mortner/Hans Glaub,[1]​ y como el rey anciano y amable en The Princess Bride (1987).

Su esposa, Felicity Gray, era una coreógrafa, oradora y escritora de ballet que en particular enseñó a Gene Tierney a bailar ballet para su papel en Never Let Me Go.