Grey era el hijo y heredero de Lady Isabel Ferrers, sexta baronesa de Groby (1419-1483) y de Sir Eduardo Grey (c. 1415-1457).

Su padre fue llamado al parlamento como Baron Ferrers de Groby en el derecho de su esposa.

Tuvieron dos hijos, Thomas Grey, más tarde marqués de Dorset, nacido en 1451, y Ricardo Grey, nacido en 1457, y ejecutado por orden de Ricardo III en junio de 1483 a los 26 años.

En 1491, Isabel, como reina viuda, se convirtió en el co-heredera de su hermano, Ricardo Woodville, 3.er Conde Ríos, sin embargo, ella murió un año después.

[1]​ Sir Grey murió en la Segunda Batalla de San Albano en 1461, luchando por la Casa de Lancaster.