Tras la victoria prusiana y después de un nuevo período universitario, también en Halle, Mackensen entró definitivamente en el Ejército en 1873, siendo destinado a su antiguo regimiento.

Tras haber avanzado sobre Belgrado, erigió un monumento a los soldados serbios caídos heroicamente en defensa de la ciudad, pronunciando estas palabras: «Hemos combatido contra un ejército del cual sólo habíamos escuchado cuentos de hadas».

Desde 1917 y hasta el final de la guerra estuvo a cargo del Gobierno militar alemán en Rumania.

Durante las elecciones generales alemanas de 1932 apoyó a von Hindenburg contra Hitler, pero tras la llegada de este al poder, Mackensen se convirtió en un visible sostén (aunque realmente solo simbólico) del nacionalsocialismo.

[3]​ Mackensen se mantuvo hasta el final como un convencido monárquico, lo que se puso de manifiesto, por ejemplo, con su asistencia a los funerales del último Kaiser Guillermo II en 1941, celebrados en el exilio en la Holanda ya ocupada por las tropas alemanas.