Miembro de la casa de Bruce, Elgin nació en la casa familiar, Broomhall House, Fife, y fue el segundo hijo de Charles Bruce y su esposa Martha Bruce.

Sucedió a su hermano mayor William Bruce, el sexto duque, en 1771, cuando solo tenía cinco años.

Fue educado en Harrow y Westminster, y estudió en la Universidad de St.

Andrews y la Universidad de París.

A Dictionary of Arts, Sciences, Literature, and General information (en inglés) (11.ª edición).