De niño, Leigh Fermor tuvo problemas con las instituciones y la organización académica.

Continuó su educación en forma autodidacta, leyendo obras en griego y latín, así como a Shakespeare y textos de Historia, teniendo en mente el ingreso en la Real Academia Militar de Sandhurst.

Pronto decidió, no obstante, solo con 18 años, caminar a todo lo largo de Europa, desde Hoek van Holland hasta Constantinopla, hoy Estambul.

En Atenas encontró a Balasha Cantacuzène, una noble rumana de la que se enamoró.

El episodio fue llevado al cine en la película Emboscada nocturna (Ill Met by Moonlight), en 1957, en la cual Leigh Fermor era interpretado por Dirk Bogarde.

En 1950 se publicó el primer libro de Leigh Fermor, The Traveller's Tree acerca de sus viajes por el Caribe tras la guerra; visitó Guadalupe, Martinica, Dominica, Barbados, Trinidad y Tobago, Haití y Jamaica, entre otras islas.

También escribió una novela, Los Violines de Saint-Jacques, convertida en ópera por Malcolm Williamson.