Mackensen se unió al Ejército Imperial Alemán en 1908, donde se convirtió en Fahnenjunker del XVII Cuerpo estacionado en Danzig, y fue promovido a teniente el 22 de marzo de 1910.

Al estallar la Primera Guerra Mundial en 1914, Mackensen sirvió como adjunto regimental en el 1.º Regimiento de Húsares.

Tras el armisticio en 1918 que ponía fin a la guerra, Mackensen permaneció en el ejército (ahora el Reichswehr de la República de Weimar), donde sirvió como jefe del 1.º Escuadrón del 5.º Regimiento (Prusiano) a Caballo en Belgard, pero en 1919 se unió al grupo paramilitar Freikorps en los Estados Bálticos.

Después, fue hecho jefe de Estado Mayor del 12.º Ejército y combatió en Francia.

Mackensen era un superior de Mälzer y supuestamente rechazó su solicitud por ser "excesiva".

Mackensen se retiró del servicio activo en el ejército en el verano de 1944.

Después de su liberación, Mackensen vivió aisladamente en Alt Mühlendorf (ahora Warder) en Schleswig-Holstein, Alemania Occidental.