El nombre «Visby» proviene del nórdico antiguo «Vi», que significa ‘lugar de sacrificios’.

En 1361 el rey danés Valdemar Atterdag desembarcó con su ejército en las cercanías de esta abandonada ciudad sueca.

Los nobles se negaron a defenderla, a pesar de tener buenas posibilidades gracias a los muros que la rodeaban y solamente un ejército de campesinos y ciudadanos de clase baja se resistió, siendo aplastados por los mercenarios del rey danés.

Esta invasión provocó la movilización de la Liga Hanseática, que obligó al rey Valdemar Atterdag a pagar una fuerte indemnización y ceder territorios a la Liga.

Los habitantes de Visby celebran cada agosto la Semana Medieval (en sueco, Medeltidsveckan).