Schmidt se unió al Ejército Imperial Alemán en 1906 y sirvió durante la I Guerra Mundial.

En 1939 Schmidt lideró la división en la invasión de Polonia.

Fue promovido a General der Panzertruppe y seleccionado como comandante en funciones del 2.º Ejército que tomó parte en la Batalla de Moscú.

En enero de 1942 Schmidt fue promovido a Generaloberst.

Su hermano Hans-Thilo Schmidt vendió detalles de la máquina Enigma alemana y otra información militar sensible al Deuxieme Bureau francés desde 1931 hasta la invasión alemana de Francia en 1940.