Educado en Glenalmond, Eton y Balliol College, Elgin comenzó en política en las filas del Partido Liberal, como Primer Comisionado de Obras en el gobierno de Gladstone, en 1886.

Entre 1902 y 1903, Elgin fue presidente de la comisión que investigó la conducta británica durante la segunda guerra bóer.

[1]​ Cuando los liberales volvieron al poder en 1905, Elgin se convirtió en Secretario de Estado para las Colonias (con Winston Churchill como subsecretario).

Como Secretario colonial, mantuvo una política conservadora, opuesta a las ideas sobre la colonia de Sudáfrica del primer ministro Campbell-Bannerman.

Elgin se retiró de la vida pública en 1908, muriendo nueve años después en la finca familiar en Dunfermline.