La ciudad perteneció al Reino de Hungría hasta el siglo XVI, cuando llegó a formar parte del Imperio otomano.
Durante el reinado otomano, casi toda la población húngara huyó y la ciudad estuvo mayoritariamente habitada por serbios.
En 1665, un viajero muy conocido, Evlia Celebi, visitó Sombor y escribió: "La mayoría de la gente (en la ciudad) no son húngaros, sino valaquiano-cristianos (serbios).
Estos lugares tienen algo en especial: no pertenecen a Hungría, pero son parte de Bačka y Valaquia.
En 1745 Sombor fue excluido de la Frontera militar e incluido en el condado Bács-Bodrog.
En 1941, la ciudad fue ocupada por las Potencias del Eje en la Segunda Guerra Mundial y anexada por parte de Hungría.
El nombre tiene su origen en la familia Czobor, los dueños de la ciudad durante el siglo XIV.
El nombre serbio de la ciudad (Sombor) también vino del nombre familiar de los Czobor, y es mencionado por primera vez en 1543, aunque ya haya sido mencionada en documentos históricos bajo varios nombres, como Samobor, Sambor, Sambir, Sonbor, Sanbur, Zibor, y Zombar.