Fue invitado a unirse al Consejo de Ministros, en tres ocasiones, pero se negó en cada oferta.

[1]​[2]​ Se casó dos veces: en primer lugar, con Lady Georgiana Cavendish (1757-1806), en segundo lugar, con Lady Isabel Foster, nacida Hervey (1759-1824), la hija del cuarto conde de Bristol, quien había sido su amante y mejor amiga y confidente de su primera esposa desde hacía más de veinte años.

Con su primera esposa tuvo: Por su segunda esposa, Lady Elizabeth Foster, no tenía descendencia legítima, pero la pareja tuvo dos hijos ilegítimos nacidos antes de su matrimonio.

Un hijo, Augusto, al que se le dio el apellido Clifford y se convirtió en Sir Augusto Clifford y llegó a ser almirante de la Marina Real; sus descendientes finalmente se extinguieron en la línea masculina en 1895.

Con su segunda esposa tuvo: El duque también tenía otra hija bastarda - Carlota, a la que se le dio el apellido de "Williams" - con su primera amante Carlota Spencer, hija de un clérigo indigente, y nacida al poco de contraer matrimonio con Georgiana Cavendish.