Józef Haller nació en la localidad de Jurczyce, por aquel entonces parte del Imperio austríaco (en la actualidad se localiza en el voivodato de Pequeña Polonia, próximo a Cracovia).

En 1916, durante la Primera Guerra Mundial, se convirtió en Comandante de la Segunda Brigada de la Legión polaca, comandando las unidades que combatieron contra Rusia en el frente oriental.

Decepcionado por la firma del Tratado de Brest-Litovsk, continuó su lucha contra los rusos con su Segunda Brigada polaca en tierras ucranianas.

Posteriormente, su ejército lucharía contra el Imperio alemán, siendo aliado de la Entente.

Cuando comenzó la invasión de Polonia por la Alemania Nazi en 1939, Haller estaba viviendo en el extranjero.