Ejerció el cargo de ministro del interior entre 1806 y 1807.

Su hermana Lady Georgiana fue esposa del duque de Devonshire.

Se convirtió en conde tras la muerte de su padre en 1783.

Fue célebre por su afición a la literatura, especialmente hacia muestras antiguas de imprenta.

Tuvieron nueve hijos: Lady Spencer murió en junio de 1831, a los 68 años.