Tras estudiar en el Colegio Eton, en 1900 Drummond inició su carrera en el Ministerio de Asuntos Exteriores de Gran Bretaña (el Foreign Office), trabajando principalmente en el despacho ministerial, siendo en 1916 secretario privado del ministro británico Arthur Balfour.

Debido a un pacto extraoficial entre Gran Bretaña y Francia, queda convenido que el primer secretario general de la Sociedad sería británico y su sucesor sería francés.

Tras cesar en su cargo el año 1933 y ser reemplazado por el francés Joseph Avenol, Drummond fue designado como embajador británico en la Italia fascista, cargo donde mantuvo la política de apaciguamiento seguida por Gran Bretaña ante Benito Mussolini, especialmente durante el periodo de Neville Chamberlain como primer ministro.

Al igual que Chamberlain y gran parte del Foreign Office, Drummond no pareció advertir a tiempo el peligroso belicismo de los fascistas.

En mayo de 1939 Lord Perth se retiró del servicio diplomático y volvió a Gran Bretaña.