Es el edificio gubernamental más antiguo de Australia que se conserva.

En 1799 el segundo gobernador de Nueva Gales del Sur, John Hunter, decidió adquirir una cabaña usada por el gobernador anterior, Arthur Phillip, para construir sobre ella una nueva residencia.

Todo el recinto fue hecho con el estilo arquitectónico georgiano colonial, común en esa época en Australia.

En 1850 se realizó un estudio a la vivienda, el cual señaló que requería de grandes trabajos de reparación debido a que la vivienda había sido invadido por termitas.

En 1855 un nuevo estudio indicó que casi toda la madera de la vivienda estaba dañada por las termitas y necesitaba ser reemplazada.