En 1873 tuvo un romance con una mujer casada y en 1875 se comprometió con Charlotte Baird.La emperatriz Sissi visitó Inglaterra en agosto de 1874, donde conoció a John Spencer.Tuvo un romance de 18 meses con Lady (Henrietta) Blanche Ogilvy, mientras ella estaba casada con el Coronel Henry Hozier.Otro escritora, Joan Hardwick, especuló que Clementine era hija de Algernon Bertram Freeman-Mitford (1837-1916).William George Middleton murió en la Copa Midlan Sportsman, por haber caído de su caballo en una carrera del Parlamento.
