Durante su infancia, debido a su frágil contextura física, su padre le recomendó la práctica del Judo.
El exceso de entrenamiento lo llevó a contraer pleuresía, una enfermedad que afecta principalmente la zona del pecho.
En 1939, Koichi Tohei comenzó, presentado por el Sr. Shohei Mori, el estudio del Aikido bajo Morihei Ueshiba O-Sensei en el entonces denominado Kobukan dojo.
Pero en ese momento llegó al dojo Morihei Ueshiba, y le pidió a Tohei que lo atacase.
El quinto dan fue el primer grado que Morihei Ueshiba entregó a Tohei Sensei.
Tetsuju Ogura era el director del Ichikukai de Tokio, dojo donde enseñaba prácticas ascéticas como el zazen y el misogi.
Pronto Tohei Sensei fue solicitado para enseñar Aikido a la policía de Hawái.
Durante todos esos años, en la Aikikai, Tohei Sensei enseñó Aikido, en algún momento de sus carreras, a la gran mayoría de los Shihan (maestros de alto grado) más conocidos del instituto Aikikai, como Hiroshi Tada, Sadateru Arikawa, Seigo Yamaguchi, Shigenobu Okumura, Kazuo Chiba, Steven Seagal y Yoshimitsu Yamada, entre otros.
Se trabaja particularmente el bokken (sable de madera) y el jo (bastón) pero también las técnicas a manos limpias contra armas (sable, bastón pero también cuchillo – tanto dori – o armas de fuego).
En diversas ocasiones Tohei Sensei manifestó considerar que su verdadero aporte es la utilización del Ki para llevar una vida plena y saludable.
Existen también alumnos avanzados fuera de Japón, como Koichi Kashiwaya, Cristopher Curtis, Pietro Yuji Maida o David Shaner.