Con el paso de los siglos, el castillo ha sido gradualmente ampliado y reconstruido como palacio.

Alrededor del año 1350, el castillo fue ampliado significativamente con la Torre Azul (Blåtårn) como enormes muros exteriores.

La falsa historia sobre un inquieto rey, andando alrededor de una mesa y haciendo surcos en ella con su pulgar, apareció mucho después, durante el siglo XVII.

Cristián III modificó la fortaleza a mediados del siglo XVI y, a través del arquitecto Hercules von Oberberg, la convirtió en un castillo de cuatro alas entre 1549-1557.

Al morir Cristián III en 1559, Hercules von Oberberg construyó la singular capilla del castillo entre 1568-1570 para la reina madre Dorotea.

Bajo su gobierno, el castillo se convirtió en el centro de un diminuto ducado, Schleswig-Holstein-Sonderburg.

El representante del duque, el prefecto (Amtmanden), tomó residencia en el castillo, que estuvo más o menos infrautilizado entre los años 1667-1718.

En 1718-1726, Federico IV hizo reconstruir el castillo en estilo barroco por el contratista general Wilhelm von Platen.

La torre Azul fue demolida en 1755, y en 1764 pasó a manos de los Duques de Augustenborg, pero, contrario a lo que se esperaba, el castillo no se convirtió en la residencia del duque.

Raphaëlis fue llamado a Dinamarca hacia 1550, al parecer para construir un órgano para la Catedral de Roskilde.

Las sillas fueron realizadas por el ebanista local, Niels Tagsen, quien también dio forma al púlpito y a las tres figuras que fueron situadas sobre el órgano en 1626.

La caja del órgano y las puertas fueron parcialmente repintadas por Wulf Petersen de Sønderborg en la misma ocasión.