Kempf es más conocido por el mando del Destacamento de Ejército Kempf durante la Batalla de Kursk.

Kempf se unió al Ejército Imperial Alemán en 1905; tras la I Guerra Mundial, sirvió en el Reichswehr y después en la Wehrmacht.

Al principio de la II Guerra Mundial en Europa, tomó parte en la invasión de Polonia[1]​ como comandante de la División Panzer Kempf, que también era conocida como la Panzerverband Ostpreußen (Grupo Panzer Prusia Oriental) del 3.º Ejército a las órdenes de Georg von Küchler.

En 1939 y 1940 Kempf lideró la 6.º División Panzer en la Batalla de Francia.

Fue después trasladado a la reserva hasta ser capturado en 1945 y puesto en cautividad.