En mayo de 1920, Bagramián inició una rebelión local contra el Dashnak y se unió al 11.º Ejército Rojo.

[2]​ Hovhannés Bagramián asumió el mando de un regimiento de caballería que participó en varias batallas durante la guerra civil rusa, y también luchó contra las fuerzas armenias y georgianas nacionalistas.

La intervención de Anastás Mikoyán (miembro del politburó armenio) evitó que lo detuvieran y le permitió continuar su carrera militar.

Algunos estudiantes de la academia militar, como Andréi Yeriómenko y Georgui Zhúkov, vieron ascender su carrera, mientras que Bagramián permaneció estancado.

[5]​ En 1940, cuando el general Zhúkov fue ascendido a jefe del Distrito Militar de Kiev, en Ucrania, Bagramián escribió una carta pidiendo servir bajo su mando.

Zhúkov estuvo de acuerdo, y en diciembre solicitó a Bagramián su ayuda para redactar un documento que tenía que presentarse a todos los comandantes de los distritos militares soviéticos.

[6]​ A los tres meses, sin embargo, Bagramián, entonces coronel, fue nombrado Subjefe de Estado Mayor del Frente Suroeste, con cuartel general en Kiev.

[10]​ Aun así participó en las grandes batallas de tanques en Ucrania occidental y en la operación defensiva alrededor de Kiev, en la cual Mijaíl Kirponós murió y el Frente entero fue cercado por los alemanes.

Bagramián entonces fue designado jefe de Estado Mayor del mariscal Semión Timoshenko y con el futuro primer ministro soviético Nikita Jrushchov como comisario político.

En sus memorias, Jrushchov describía a Bagramián como "una persona muy precisa que hizo un informe muy detallado sobre todo tal y como era.

"[11]​ Bagramián contribuyó decisivamente a la planificación de dos contraofensivas soviéticas contra los alemanes, incluyendo el empuje principal hecho por fuerzas soviéticas en diciembre durante la batalla de Moscú, y para esto fue ascendido a teniente general.

[15]​ Varios días más tarde, escribió una carta a Stalin en la que pedía "servir en el frente en cualquier posición, aunque sea modesta".

[16]​ El historiador británico militar John Erickson afirma que Bagramián fue injustamente acusado por Stalin, en las tentativas de este en buscar siempre culpables cuando las operaciones militares salían mal.

[17]​ Aunque nunca había comandado una unidad antes de la guerra, se le dio su primer mando de un ejército en el frente occidental, en particular porque al mariscal Zhúkov le impresionaron sus habilidades y capacidades.

Las fuerzas alemanas amenazaban a Bagramián en el flanco izquierdo, así que el 9 de septiembre movió rápidamente sus fuerzas para contraatacar y poner fin a sus intenciones de avanzar aún más.

Él afirmó que sus fuerzas estaban sobrecargadas y tendrían dificultades para atacar a las posiciones alemanas en Vóljov.

Las pérdidas alemanas fueron inicialmente grandes debido a los preparativos de la defensa soviética.

[20]​ Stalin le permitiría mantener el 11.º Ejército, y sugirió al coronel general Nikandr Chíbisov, un oficial que había servido bajo, asumir su posición.

Bagramián sin embargo comentó que había tenido un roce con Chíbisov y en su lugar se nombró al teniente general K. N. Gálitsky.

Sin embargo, las fuerzas alemanas tomaron la iniciativa, ya que montaron una nueva ofensiva contra los partisanos soviéticos en Bielorrusia.

El plan de la STAVKA, cuyo nombre en código era Operación Bagratión se mantuvo en secreto para todos los comandantes del frente que iban a participar.

[27]​ Bagratión fue el nombre que se utilizó para nombrar al Primer, Segundo y Tercer Frente Bielorruso y el Primer Frente Báltico cuya misión era hundir al Grupo de Ejércitos Centro.

Aunque Bagramián, al igual que todos los comandantes del Ejército Rojo, consideraba aceptable sostener muchas bajas,[28]​ le conmocionó tremendamente la inmensa pérdida de vidas; por esta razón, trató de reducir estos niveles, principalmente aprovechando el elemento sorpresa en las operaciones.

En sus preparativos para la Operación Bagratión, guio al 43.º Ejército a través de un terreno difícil, entre pantanos y marismas, rodeando al Grupo de Ejércitos Norte por el sur.

El comandante del 43.º Ejército, el general Afanasy Beloboródov, escribió que un alemán capturado durante la ofensiva declaró que las fuerzas alemanas habían sido tomadas por sorpresa por las atacantes.

[30]​ Bagramián siguió empujando hacia Vítebsk y sus fuerzas fueron ayudadas por los mismos partisanos bielorrusos que habían escapado del cerco alemán en abril.

Recibiendo el prometido 39.º Ejército, pero solo estaba compuesto por siete divisiones (en comparación con las diez del Cuarto).

Tomando ventaja de ello, Bagramián trabajó con otros comandantes del Frente para atacar la retaguardia del grupo de ejércitos Centro, pero la mala coordinación entre las unidades llevó a una anticipación.

[33]​ En este momento, Bagramián se dio cuenta de que no iba a ser fácil expulsar a las fuerzas alemanas de los Países bálticos y los avances hacia Kaunas fueron inútiles.

A lo largo de su extensa carrera militar, Iván Bagramián recibió las siguientes condecoraciones[4]​