Gripenberg empezó su carrera militar en 1854 como cadete en las filias del Ejército ruso de Crimea.
Como parte de la fuerza rusa que suprimió el levantamiento polaco en 1863-1864 fue promovido a teniente.
Esta fue una distinción poco habitual ya que normalmente la condecoración era dada solo a oficiales con al menos el rango de general.
Fue nombrado comandante del 17.º Batallón de Infantería en 1872 y promovido a coronel.
Perdió este puesto en 1898 tras criticar las acciones rusas de mano dura en Finlandia.
Gripenberg no perdió el tiempo en culpar públicamente a Kuropatkin por las derrotas de Rusia, lo que encendió una guerra dialéctica entre los dos hombres en la prensa.