Sirvió en la artillería y la aviación alemana durante la Primera Guerra Mundial, siendo condecorado con una Cruz de Hierro.

Terboven dejó la universidad en 1923 y se afilió al NSDAP, participando en el fallido Putsch de Múnich.

Posteriormente Terboven ayudó a establecer el NSDAP en Essen, su ciudad natal, y en 1928 se convirtió en gauleiter o líder regional del partido, además de hacerse miembro de las SA, la fuerza paramilitar del NSDAP.

Terboven se ganó el odio del pueblo noruego por su táctica de brutales amenazas e intimidación hacia la población civil contraria a la ocupación.

En su compañía se encontraba el cadáver del máximo comandante de las SS en Noruega, el general Wilhelm Rediess, que se había suicidado de un disparo minutos antes.