La residencia se ubica en un terreno de 54 hectáreas, junto al Lago Burley Griffin.
Sir Isaac Isaacs fue el primer gobernador general que vivió allí permanentemente.
La casa original fue construida por la familia Campbell, dueña también del "Duntroon", edificio que hoy alberga a la Real Escuela Militar (Royal Military College).
Después de que el Gobierno Federal decidiera utilizar la casa como una residencia provisional para el gobernador general, otro bloque de tres pisos se construía detrás del existente, junto con una nueva entrada en la fachada sur.
Lord Stonehaven fue el primer gobernador general que vivió en la casa, quien participó de la inauguración del entonces edificio del Parlamento Provisional (ahora Casa de Parlamento Viejo) en 1927.
Los planes para una residencia permanente y más sustancial nunca se implementaban, como consecuencia de la Gran Depresión y, una década después, por la grave situación de inseguridad nacional que generó en el país la Segunda Guerra Mundial.
En 1927, el duque y la duquesa de York (quienes luego se convertirían en el rey Jorge VI y la reina Isabel) alojaron en la residencia cuando visitaban Canberra para inaugurar la Casa de Parlamento Provisional.
Antes de su llegada, se realizaron variadas mejoras cambios extensos para asegurar que el edificio era apropiado para recibir a miembros de la Familia Real británica, las que fueron supervisadas por el arquitecto John Smith Murdoch.
Lord Gowrie vivía en la casa, y había consenso en que la residencia no satisfacía las necesidades oficiales.
Los cambios fueron impulsados por quien se esperaba el siguiente gobernador general, el duque de Kent, quien tenía segura la nominación en el cargo.
Sin embargo, el duque falleció en un accidente aéreo en 1942 en Escocia, y fue su hermano mayor el duque de Gloucester, quien al final tomó el cargo y contó con los cambios en la residencia al momento de su llegada.
En los años 90 un nuevo bloque, construido en armonía con el estilo clásico de la residencia, diseñado por Roger Pegrum, se construyó para albergar las oficinas del secretario oficial del gobernador general y sus funcionarios administrativos.
Todos estos se mantienen y están pintados de color crema.
Los pisos superiores contienen la residencia particular del gobernador general y las habitaciones de invitado.
Los artistas australianos representados en la casa incluyen a Emanuel Phillips Fox, Thomas William Roberts, Sir Arthur Streeton, Sir William Dargie, Margaret Preston, Rupert Bunny, Nicholas Chevalier, W.B.
El "Wild Garden" o "Jardín inglés" fue diseñado por lady Gowrie, e incluye un monumento a Patrick Hore-Ruthven, el único hijo sobreviviente del gobernador general lord Gowrie y su esposa, quien murió en combate en la Segunda Guerra Mundial.