La construcción de la fortaleza empezó en 1293, por órdenes del mariscal Torkel Knutsson, quien en 1290 realizó la cruzada a Carelia, en las Guerras sueco-novgorodenses dirigida hacia Nóvgorod.

A lo largo de los siglos fue la primera defensa del reino contra los rusos, su condición militar y estratégica fue solo superada por la fortificada Estocolmo.

También, debido a su distanciamiento con la capital, sus poderes administrativos se hicieron más fuertes.

Después el Castillo de Olavinlinna, construido en 1470, fue sometido a Viipuri (hoy:Víborg).

Viipuri perteneció a la república independiente de Finlandia entre 1917-1940 y nuevamente desde 1941 hasta 1944.