Su abuelo, Augustus FitzRoy, tercer duque de Grafton, era el primer ministro del Reino Unido a partir de 1768 a 1770.
El medio hermano Roberto FitzRoy de Charles fue un importante meteorólogo y topógrafo, capitán del Beagle.
Viajó a Canadá bajo las órdenes del duque de Richmond en 1818.
Y fue al servicio en la Gobernación de El Cabo.
Se retiró del parlamento en 1833, y vivió una vida reservada en Suffolk mientras que su familia utilizó su influencia considerable para encontrarle una posición de mérito.