Se encuentra a tres kilómetros al sur de la capital, Jamestown, Santa Elena en San Pablo.
Una explicación para la ubicación de la residencia oficial del Gobernador es que el clima es menos árido y el terreno se encuentra más hacia el interior, en comparación con los del Valle James.
Asimismo, la residencia del Teniente Gobernador era Longwood House, también en el interior de la isla.
La casa fue ampliada en 1816 y sufrió alteraciones considerables, en su mayoría externas, que se introdujeron en 1960.
Posiblemente la tortuga viva más antigua del mundo, llamada Jonathan, reside en los jardines y pertenece al gobierno de Santa Elena.