El fuerte fue ocupado por numerosos miembros de la familia real británica y por personajes asociados desde 1750 hasta 1976.
[1] Las adiciones incluyeron una habitación octagonal en el lado noreste, en la que cenaba regularmente el rey.
Un conjunto de 31 cañones, fundidos entre 1729 - 1749 por el primer maestro fundidor en la fundición real, más tarde el Royal Arsenal —Arsenal real— en Woolwich, se utilizaron para saludar con fuego hasta 1907, a menudo para recibir a la reina Victoria, que era una visitante frecuente.
Más tarde la propiedad fue utilizada por diferentes miembros de la realeza o sus sirvientes.
En 1911, el viejo edificio fue convertido en una residencia y fue utilizado por el príncipe Arturo, duque de Connaught.
El edificio quedó vacante en 1929 y el rey Jorge V se lo dio a su hijo mayor, Eduardo, príncipe de Gales.