Desde el siglo I a. C. el pueblo de los sécuanos, originarios del área de Besançon, disputaron la posesión del Sundgau a los eduenos, hasta que en el 70 a. C. recurrieron —para conseguir imponerse sobre estos— a la ayuda de mercenarios germánicos liderados por Ariovisto.
Tras la invasión del Imperio Romano de Occidente por los pueblos germánicos a principios del siglo V, la región, en la que comenzaron a surgir las primeras comunidades de cristianos, fue ocupada por los alamanes hasta su expulsión por los francos, vencedores en la batalla de Tolbiac en 496, que integraron el territorio en el reino de Austrasia y, más adelante, en el ducado de Alsacia, dentro del Sacro Imperio Romano Germánico con la denominación Ducado de Suabia.
Es por entonces que las crónicas distinguen el Sundgau (condado del sur) en el territorio que durante el Antiguo Régimen se denominaría de Haute Alsace, y el Nordgau (condado del norte) que daría lugar a la provincia de Basse-Alsace.
Durante el siglo IX y siglo X, el Sundgau estuvo bajo administración de la familia de los Lieutfried.
El emperador del Sacro Imperio, Fernando III de Habsburgo, vendió el Sundgau a Francia en 1646 por 1,2 millones de táleros.