A su nacimiento, Lord John Russell (como luego fue conocido) no esperaba suceder al título, a menos que su hermano mayor, Francis Russell, Lord Howland, muriera en la infancia o más tarde sin herederos legítimos.

Lord John Russell contrajo matrimonio relativamente joven, con Georgiana Byng, una de las hijas del 4.º vizconde Torrington.

(Otras tres hermanas se casan con Heredero de March & Darnley, el prospectivo 4.º duque de Richmond, 5.º duque de Mánchester, y Visconde Brome, el futuro 2.º marqués Cornwallis) Pasado un tiempo, el nuevo 6º duque desposa a Lady Georgina (como su segunda mujer).

El matrimonio tuvo diez hijos: Georgina, la duquesa de Bedford, una gran mecenas de las artes, tuvo más tarde una larga relación con el pintor Sir Edwin Landseer, veinte años más joven que ella; y se casaron, siendo muy felices.

Se hizo, como muchos de su partido que eran fuertes seguidores del bonapartismo, opositor a la guerra de la Independencia Española, creyendo que nunca ganarían.