[2]​ Enviado a Túnez en 1942, al año siguiente fue nombrado jefe del Grupo de Italia Norte (GOW) y se estableció en Milán, donde mantuvo una relación estrecha con el arzobispo católico Alfredo Ildefonso Schuster y su secretario personal, Giuseppe Bicchierai.

En cierta ocasión Rauff dijo que fue ayudado por un sacerdote de Nápoles, gracias al cual llegó a Roma, donde el obispo pronazi Alois Hudal lo escondió por casi dos años y, como sostiene el periodista y escritor chileno Carlos Basso, desde allí organizaron la transferencia de nazis a América Latina, a través de organizaciones como la Cruz Roja y Caritas.

[5]​ Posteriormente trabajaría dando cursos para la DINA de entrenamiento personal en Colonia dignidad donde se había refugiado con otros nazis.

El periódico francés Le Monde publicó en 1974 que Rauff estaría trabajando en los servicios secretos del régimen del general Augusto Pinochet, y que habría estado involucrado en torturas y asesinatos de opositores de la dictadura.

[9]​[7]​ Por último, los colonos Franz Bäar y su esposa Ingrid Szurgelies aseguran que era un asiduo visitante de Colonia Dignidad.

[4]​ Pinochet también adujo que Rauff no podía ser extraditado debido al rechazo de la Corte Suprema en 1963.

Según el portal Memoria Viva, «torturó en Punta Arenas, Estadio Nacional y Colonia Dignidad.