[5]​ Hasta la finalización del palacio, la realeza noruega residía en Paléet, un magnífico palacete en Oslo que el rico mercante Bernt Anker legó al Estado en 1805 para ser residencia real.

Linstow planeó que el edificio tuviera dos plantas con alas a ambos lados de la fachada principal.

Mientras tanto, el Parlamento se negó a pagar más subvenciones como un acto de rechazo contra los esfuerzos impopulares del rey para establecer una unión más estrecha entre sus dos reinos, Noruega y Suecia.

En 1833, Linstow rediseñó el proyecto sin la construcción de las alas, pero serían compensadas con una tercera planta.

Los siguientes reyes de la dinastía Bernadotte, Carlos IV y Óscar II continuaron usando el palacio como residencia real en Oslo, pero pasaron la mayor parte del tiempo en Estocolmo.

Óscar II dejó de visitar el palacio desde 1905, tras la disolución de la unión con Suecia, aunque su hijo, el entonces príncipe Gustavo, hizo dos breves visitas en sus vanos intentos por salvar la unión.

El rey Olav residió mayormente en Skaugum y en Bygdøy, pero regresó al palacio en 1968 cuando regaló la finca de Skaugum a su hijo, el entonces príncipe Harald y su esposa la princesa Sonia, como regalo de bodas.