Franz Freiherr von John nació en Bruck an der Leitha como el cuarto vástago de un oficial austríaco.
Fue escolarizado en la academia militar en Wiener Neustadt y se unió al Regimiento de Infantería Archiduque Franz Karl N.º 52 en 1835 como teniente.
En 1857 fue promovido a coronel, ennoblecido como Barón, se convirtió en comandante regimental.
En 1861 fue promovido a mayor general y John pasó a ser jefe de Estado Mayor del ejército italiano comandado por Benedek.
Durante su periodo como ministro de guerra llevó a cabo un reforma del ejército basado en la conscripción general.