Su nacimiento marcó la disputa entre sus padres: Lord Castlemaine la bautizó en la fe católica, pero seis días después fue rebautizado dentro de la Iglesia de Inglaterra.
En 1670, a los ocho años, fue prometido a Mary Wood, única hija y heredera de Sir Henry Wood, secretario del Green Cloth, con la condición de que no se celebrase el matrimonio hasta que Mary cumpliera dieciséis.
El matrimonio con Mary Wood tuvo lugar 1679, pero la nueva duquesa murió de viruela meses después, sin hijos del matrimonio.
[1] En 1694, el duque se volvió a casar con Anne, hija de Sir William Poultney de Misterton, Leicestershire, con la que tuvo seis hijos:[1] Tras la muerte de su madre en 1709, la sucedió como II duque de Cleveland, a través de una característica especial en la concesión del título, gracias a la cual no importó su bastardía.
[1] Fue sucedido por su primogénito William FitzRoy (1698–1774), quien murió sin descendencia extinguiendo sus títulos.