En 1935 se diseñó una mansión de estilo neoholandés. Finalizada en 1941, esta mansión situada en Grant's Hill sirvió como residencia del Gobernador General de la Unión Sudafricana a partir de 1942.
En 1972, el edificio recibió el nombre oficial de Oliewenhuis , nombre que se deriva de la abundancia de olivos silvestres que crecen en las colinas cercanas. En 1985, el edificio se convirtió en un museo de arte . [1]