Ingresó en el Ejército Rojo en 1920, combatiendo en varios frentes durante la Guerra Civil Rusa.
Entre marzo y julio de 1942 fue comandante del recién reformado 38.º Ejército.
Dirigió esta unidad expulsando a los alemanes de Ucrania, Polonia y Checoslovaquia.
Debido a temor del Gobierno soviético acerca de la creciente popularidad de Zhúkov, no podía llevar pistola dentro del Kremlin.
Moskalenko entró en el Kremlin armado para arrestar a Beria.