Originario del clan Iitomi, Toramasa fue criado por el clan Obu y bajo las órdenes de Takeda Nobukado.

Con la muerte de Nobukado y el ascenso al liderazgo del clan por parte de su hijo Takeda Shingen, Toramasa fue reconocido como un hombre de sabios consejos por lo que fue reconocido como uno de los famosos Veinticuatro Generales de Takeda Shingen y se convirtió en el tutor personal del futuro heredero del clan, Takeda Yoshinobu.

Toramasa fue designado además al mando del castillo Uchiyama en la Provincia de Shinano donde con tan solo 800 soldados de la guardia pudo repeler el ataque del ejército de Uesugi Kenshin que contaba con más de 8,000 elementos con lo que ganó un gran nivel de respeto pero una gran desconfianza al mismo tiempo.

Toramasa fue el sospechoso de manipular a Yoshinobu por lo que en el año de 1565 se le ordenó que cometiera seppuku.

Aún después de su muerte se le reconoció ampliamente por distinguir a sus soldados con una armadura rojo escarlata, lo cual adoptó de su hermano menor, Ii Naomasa.