Svendborg se menciona por primera vez en la historia en una carta que el rey Valdemar II le envía a su hijo Valdemar el Joven, donde señala que el príncipe debe ceder Svendborg y el sur de Fionia como regalo a su esposa la princesa Leonor de Portugal.
El otro hijo de Valdemar II, el duque Abel (a la postre rey Abel I de Dinamarca) ocupó la ciudad en 1257 y la fortificó, pero posteriormente Erik Plovpenning también la tomó y la incendió.
En 1289 fue asediada por Stig Andersen Hvide y en 1290 fue saqueada por Erico II de Noruega, quien incendió varios barrios.
Treinta años después un enemigo invisible, la peste negra, diezmó a una parte significativa de sus pobladores.
Tras la guerra, la ciudad comenzó a recuperarse, gracias al comercio de alimentos.
Esto ocasionó la orientación de la economía hacia el comercio, la enseñanza y el turismo.