Alberto nació en Londres, y era hijo del futuro Charles Spencer, VI conde de Spencer y de su esposa Margaret Baring, segunda hija de Eduardo Baring, I barón Revelstoke.

Sus padrinos de bautismo incluyeron al rey Eduardo VII del Reino Unido.

Después de su educación en la Escuela Harrow y en el Colegio Trinity en Cambridge, sirvió durante la Primera Guerra Mundial como capitán del First Life Guards y tuvo un rol activo en la política local de Northamptonshire siendo parte del Partido Conservador.

Abrió su casa ancestral, Althorp, al público y era un buen conocedor de la Historia del Arte.

Se casó con Cynthia Hamilton, hija de Jacobo Hamilton, tercer duque de Abercorn, en 1919 y tuvieron dos hijos.