Era hijo de Graham Balfour.

Estudió en Rugby School y en el Balliol College de Oxford, donde se graduó en Historia.

Visitó Alemania por primera vez en 1930, donde se hizo amigo de Helmuth James von Moltke.

[1]​ En 1934 se casó con Grizel Wilson, con quien tuvo tres hijas.

[1]​ Durante la Segunda Guerra Mundial, Balfour trabajó en el Ministerio de Información y el Departamento de Inteligencia Política del Ministerio de Relaciones Exteriores.