Nació con el título de Lord Burghersh en Sackville Street, Piccadilly, Londres.
Fue hijo de John Fane, 10.º conde de Westmorland, y Sarah Child, heredera del banquero Sir Robert Child.
Su hermana fue la famosa socialité Sarah Villiers, condesa de Jersey.
Sucedió a su padre como Conde de Wesmorland en 1841.
Lord Burghersh comenzó su carrera militar siendo comisionado en Ensign.