Tras la reorganización del fútbol alemán a causa del Tercer Reich en 1933 dividiendo el país en 16 ligas de primera división, el Schwaben Augsburg se unió a la Gauliga Bayern, pero descendió tras dos temporadas.

En ese año los futbolistas profesionales del Schwaben se van para unir fuerzas con el BC Augsburg para formar al FC Augsburg, cuando el TSV se excluyó de participar en el fútbol profesional en el futuro cercano.

El equipo pasó a jugar en la primera división aficionada, la Bayernliga (IV), en 1981.

Por varios años el club fue un yo-yo rondando entre la Oberliga y la quinta división Landesliga Bayern-Süd.

En 2008–09 termina en segundo lugar detrás del BCA-O y logra el ascenso a la Bezirksoberliga,[1]​ en la que juega las siguientes tres temporadas.