Voluntario en 1926, Heinz Harmel se alistó en la Reichswehr, en la Compañía 15 del 6 º Regimiento de Infantería en Ratzeburg.
Allí, Harmel fue nombrado como comandante de la 9 ª Compañía del SS-Regiment "Der Führer".
En Belgrado, Harmel fue ascendido al rango de SS-Sturmbannführer, mayor.
SS-Panzer-Division "Das Reich"), bajo el mando del SS-Gruppenführer Paul Hausser, Harmel participó en las luchas cerca de Jelna.
La 10 ª División Panzer de las SS "Frundsberg" se componía teóricamente de 19.513 hombres, pero debido a las numerosas bajas por combates nunca llegó a esta cifra.
En agosto de 1944, aproximadamente 125.000 soldados alemanes del 7.º Ejército estaban rodeados.
Luchó por la defensa del Reich en contra de la ofensiva aliada (Operación Market Garden).
SS-Brigadeführer Harmel puso fin a la guerra en mayo de 1945, en Spremberg.
Harmel fue prisionero de guerra en el Reino Unido durante 2 años.
Tras su liberación, regresó a Alemania y trabajó como representante de ventas.
En la película A Bridge Too Far de 1977, el actor alemán Hardy Kruger retrata a un personaje llamado SS-Brigadeführer Ludwig, el cual se basó en Heinz Harmel y Harzer Walter.