Esta es la fortaleza medieval en piedra más septentrional que todavía se mantiene en pie.El hecho de que el castillo se encuentre situado sobre una red de lagos y canales no es accidental, ya que estos impedirían en gran manera un posible ataque ofensivo ruso.Así se evita también un posible ataque invernal con tropas que lleguen a pie y no en barco.Olofsborg soportó varios asedios organizados por los rusos durante la primera y Segunda guerra ruso-sueca.Los trabajos de restauración comenzaron con la llegada del siglo XX y fueron terminados hacia 1975.
