Lord Spencer nació como Edward John Spencer, vizconde de Althorp, el único hijo varón y el hijo menor de Albert Spencer, VII conde Spencer, y su esposa, lady Cynthia Hamilton, segunda hija del tercer duque de Abercorn.
Lord Spencer combatió durante la Segunda Guerra Mundial de 1944 a 1945.
Tuvieron cinco hijos: El matrimonio se divorció en abril de 1969.
Raine era la hija de la novelista romántica Barbara Cartland.
Lord Spencer murió en el Hospital Humana, Wellington, Londres, a la edad de 68 años.