Asistió al Shokasonjuku, una escuela privada administrada por Yoshida Shōin, y en donde fortaleció su fanatismo por el movimiento de derrocamiento del Shogunato Tokugawa.

Con la llegada de la Restauración Meiji, fue elegido junto con Saigō Tsugumichi para visitar Europa en 1869 bajo las órdenes del gobierno para investigar los sistemas militares europeos.

Fue el jefe del nuevo Ejército Imperial Japonés que se enfrentó a la Rebelión de Satsuma, dirigido por Saigō Takamori en 1877.

Le escribió al emperador Meiji el Rescripto Imperial a Soldados y Marineros en 1882.

Este documento fue considerado la base moral del Ejército y Marina japoneses hasta su fin en 1945.

Promulgó leyes que prohibían a los miembros de partidos políticos ocupar puestos claves en el Gobierno.

En 1896 encabezó una misión diplomática a Moscú, donde se estableció el Acuerdo Yamagata-Lobanov que confirmaba los derechos rusos y japoneses sobre Corea.