Fue educado en Richmond School, seguido de Eton y Trinity College, Cambridge, adquiriendo una habilidad en latín e inglés en composición y declamación que le permitió convertirse en uno de los principales oradores parlamentarios de su generación.
El té Earl Grey lleva su nombre.
Tuvo un romance clandestino con la duquesa Georgiana Spencer durante el matrimonio de esta con William Cavendish, quinto duque de Devonshire.
De este romance surgió una niña, llamada Eliza Courtney, a la que él consideraba su sobrina tras ser arrebatada de Georgiana por su marido y posteriormente criada por los padres de Charles.
El matrimonio fue fructífero; entre 1796 y 1819 la pareja tuvo diez hijos y seis hijas: La historia de su romance con la duquesa Georgiana Spencer se narra en la película británica del 2008 La duquesa, dirigida por Saul Dibb.