En 1933 se alistó al Bundesheer austríaco como oficial cadete, y un año después completó su curso de piloto.

Cuando Austria fue anexionada por la Alemania nazi el 1938, Gollob se unió a la Luftwaffe con rango de Oberleutnant.

La unidad tomó parte en la operación Weserübung, y Gollob consiguió dos victorias más sobre Noruega.

Aquel mismo año, Gollob abatió un spitfire durante la batalla de Inglaterra.

El JG 3 fue destinado al canal de la Mancha, donde tuvo mucha acción.

Contra la débil Fuerza Aérea Soviética, Gollob demostró su habilidad, abatiendo 18 naves enemigas sólo durante el mes de agosto.

Gollob es visto como un piloto competente, pero como un pobre líder dada su obsesión por impresionar a sus superiores y su insano espíritu competitivo.