En 1890, Zarubáyev fue promovido a mayor general y en 1899 a teniente general y le fue dado el mando de la 9.ª División de Infantería entre 1900-1903, cuando fue hecho subcomandante del Distrito Militar Siberiano.

Repulsó con éxito los ataques del general japonés Yasukata Oku durante la batalla de Tashihchiao, pero se le ordenó retirarse por el General Alekséi Kuropatkin en lugar de seguir avanzando.

Igualmente, en la batalla de Liaoyang, mantuvo con éxito su posición contra repetidos ataques japoneses, pero de nuevo se le negaron refuerzos por Kuropatkin y se le ordenó retirarse.

En la batalla de Shaho, sus fuerzas se mantuvieron mayormente en la reserva, y fueron usadas para reforzar la línea que cubría la retirada de Kuropatkin.

No obstante, esta fuerza combinada fue cancelada el 25 de febrero, y después de que Kuropatkin fuera reemplazado por el General Nikolái Linevich, Zarubáyev fue temporalmente comandante del Primer Ejército Manchurio ruso.