Las dos ciudades más cercanas son Faringdon (8 km al norte) y Wantage (a una distancia similar en dirección este).

No muy lejos discurre The Ridgeway, un antiguo sendero que se considera el camino más viejo de Gran Bretaña, pues está en uso desde el Neolítico.

Un cartulario de Abingdon, escrito por monjes sobre pergamino, alude al mons albi equi (en latín: ‘la colina del caballo blanco’).

Hasta finales del siglo XIX, el Caballo Blanco era renovado cada siete años como parte de un festejo local que se celebraba en la colina.

En la actualidad su mantenimiento corre a cargo del departamento público English Heritage.