Stumme participó como un joven oficial en la Primera Guerra Mundial y tras la instauración de la república continuó su carrera en el Reichswehr.

Tras esta campaña, Stumme fue substituido por Erwin Rommel en el mando de la 7.ª División Panzer, pero poco después fue nombrado comandante del XXXX Cuerpo de Ejército, enviado a Bulgaria en 1941.

En esa condición participó en los ataques germanos contra Yugoslavia y Grecia (véase Operación Marita).

Dichas anotaciones fueron guardadas por un oficial subordinado suyo que posteriormente fue capturado por los soviéticos, al ser derribado el avión en que viajaba, justo antes del inicio de la Operación Azul.

Lo encontraron culpable de negligencia y fue condenado a cinco años de prisión, pero el Feldmarschall von Bock logró su rehabilitación y vuelta al servicio tras un proceso que el diplomático Ulrich von Hasell describió como "antimilitar y antiprusiano" Tras este incidente, Stumme fue enviado al norte de África para unirse al Afrika Korps, que se enfrentaba al ejército británico en El Alamein.