Mientras que en Oxford se hizo amigo de William Gladstone.Bajo su gobierno, comenzaron los primeros intentos verdaderos de establecer un gobierno responsable en Canadá, siendo él el primer Gobernador General que se mantuvo al margen de los asuntos de la legislatura.En China, supervisó la segunda guerra del Opio y ordenó la destrucción del Yuanming Yuan, el viejo Palacio Imperial de Verano, en las afueras de Pekín.En Japón, firmó el Tratado de amistad y comercio aglo-japonés donde se encargó de mantener la soberanía británica en los puertos más importantes de la isla y controlar las mercancías que llegaban a estos sin supervisión de los entonces representantes del gobierno japonés.Fue nombrado Virrey de la India en 1861, y murió en Dharamsala en 1863.
James Bruce, 8.º conde de Elgin y 12.º conde de Kincardine.
