Se incorporó al Ejército y alcanzó el grado de alférez en 1936.

Consiguió su calificación como piloto en 1938 siendo destinado al Jagdgeschwader 52 (JG 52), con el rango de teniente.

[3]​ El JG 52 se trasladó más tarde a Calais, desde donde participó en la Batalla de Inglaterra.

Luchó con el JG 52 sobre Inglaterra hasta que la unidad fue retirada del combate para reemplazar las pérdidas.

Durante un período de cinco días, Rall y su escuadrón destruyeron unos 50 aviones soviéticos.

Contra todos los pronósticos, logró recuperarse y volvió a combatir en agosto de 1942.

Durante su hospitalización conoció a una enfermera, Hertha, con quien se casó después.

Un mes más tarde, se convirtió en el único piloto de caza (tras Walter Nowotny) en lograr 250 derribos.

Durante 1943, se le confirmaron 150 aviones enemigos destruidos, una cifra solo superada por Nowotny (196) y Hermann Graf (160).

Su escuadrón fue atacado entonces por otros P-47 que iban llegando al combate y pertenecían al Grupo de Caza Nº 56, siendo derribado por un as de esa unidad, el Captain Joseph Powers, Jr.

Recibió un disparo en el pulgar y tuvo que ser hospitalizado durante muchos meses debido a la aparición de infecciones.