Se unió al servicio activo como cadete en el Regimiento Sumy de Húsares.
En 1883, se graduó de la Academia Nikolaev del Estado Mayor en primera categoría.
Durante la Guerra hispano-americana Zhilinsky fue observador militar con el Ejército español en Cuba.
A su retorno, publicó un libro sobre la guerra, en el que analizaba las causas de la derrota española.
A principios de la I Guerra Mundial, asumió el mando del Frente Noroeste.