Sus unidades tomaron parte en la invasión de Francia y después en el Frente Oriental.

Fue la punta de lanza del avance hacia Leningrado, hasta que fue transferido al Grupo de Ejércitos Centro para ayudar en el avance hacia Moscú.

El 4.º Ejército Panzer, junto con el 2.º Ejército Panzer de Heinz Guderian, destruyeron incontables unidades soviéticas hasta que fueron inmovilizados apenas a las afueras de Moscú.

En 1942 se convirtió en parte del Grupo de Ejércitos B y algunas de sus divisiones (notablemente la 24.ª División Panzer) fueron rodeadas y destruidas en Stalingrado.

Siguiendo esta ofensiva fallida, el ejército fue rechazado; tomó parte en la campaña defensiva para contrarrestar la Operación Ofensiva Estratégica del Bajo Dnieper, antes de terminar la guerra en Eslovaquia como parte del Grupo de Ejércitos Centro.