Este arrendamiento fue comprado por Simon Frazer, que también adquirió la participación de Maseres en la propiedad.Ese mismo año fue adquirida por la Corona, y se utilizó por primera vez para albergar al juez general de las Fuerzas Armadas.Más tarde, Herbert se convirtió en ministro del Interior y en el primer gobernador general de la Unión Sudafricana.[9] Los Whips fueron trasladados al 9 de Downing Street, antes conocido únicamente como el edificio del Consejo Privado.[9] Durante el periodo de Gordon Brown al frente del Gobierno, éste volvió a trasladar la Oficina de Prensa fuera del 12 de Downing Street y la utilizó como despacho abierto para él y sus principales asesores, ya que contaba con un espacio individual lo suficientemente grande para su equipo, algo que no estaba disponible en el 10 de Downing Street.