Takatora tuvo un origen muy humilde e inició su carrera militar como soldado ashigaru y terminó convertido en un poderoso daimyō.

Durante su vida cambió siete veces de señor feudal y trabajó para diez personas distintas, aunque al final permaneció fiel a Tokugawa Ieyasu, quien sería su último maestro.

En esa época se le dio el han de Iyo-Uwajima, valuado en 70.000 koku.

Más tarde se convirtió en señor de Tsu, lo que aumentó sus dominios 320.000 koku.

Takatora es famoso además por sus habilidades en la planificación de castillos.