Fretter-Pico entró en el servicio en 1910 en el Ejército prusiano y sirvió en la I Guerra Mundial.
Durante los años de entreguerras, permaneció en el Ejército alemán; en 1938, fue enviado a Turquía como agregado militar.
Fretter-Pico fue promovido a general pleno en junio de 1942.
En marzo de 1945, le fue dado el mando del Wehrkreis IX (Kassel).
Era el hermano mayor de Otto Fretter-Pico, también un general alemán durante la II Guerra Mundial.