Se cree que Birger Jarl amplió el edificio, consiguiendo un castillo más grande.

Durante el reinado de Alberto de Suecia el castillo fue regido como un feudo por el caballero alemán Raven van Barnekow, quien hizo importantes mejoras en el edificio, y más tarde por Bo Jonsson Grip.

Además, se hicieron importantes reconstrucciones y ampliaciones durante la Baja Edad Media.

Gustavo Vasa fortaleció el castillo con fines defensivos y creó una torre; desde entonces se mantiene con esta estructura.

El castillo medieval fue reconstruido a finales del siglo XVI por el duque Carlos (posteriormente Carlos IX de Suecia) y se creó un palacio renacentista.