Esta es la fortaleza medieval en piedra más septentrional que todavía se mantiene en pie.
El hecho de que el castillo se encuentre situado sobre una red de lagos y canales no es accidental, ya que estos impedirían en gran manera un posible ataque ofensivo ruso.
Así se evita también un posible ataque invernal con tropas que lleguen a pie y no en barco.
Olofsborg soportó varios asedios organizados por los rusos durante la primera y Segunda guerra ruso-sueca.
Los trabajos de restauración comenzaron con la llegada del siglo XX y fueron terminados hacia 1975.