El príncipe Cristián de Schleswig-Holstein-Sonderburg-Glücksburg, que más tarde se convertiría Cristián IX de Dinamarca, se instaló ahí cuando llegó por primera vez a Copenhague.

Hoy en día el edificio es propiedad de la Agencia Danesa de Palacios y Propiedades y aloja la oficina del Lord Chamberlain.

Cuando Frederiksstaden fue establecido alrededor de 1748, se concibió para construirse uniformemente como un distrito rococó.

Todos los edificios nuevos tenían que cumplir con ciertas pautas estipuladas por Nicolai Eigtved, el encargado del proyecto.

Más tarde, el príncipe Valdemar vivió en el palacio Amarillo hasta su muerte en 1939 y fue el último residente real.