Tōtōmi bordeaba las provincias de Mikawa, Suruga y Shinano.
Tōtōmi fue una de las primeras provincias japonesas establecidas en el periodo Nara bajo el código Taihō.
La capital original de la provincia fue establecida en la actual Iwata bajo el nombre de “Mitsuke" (nombre que sobrevivió a la actualidad como Mitsuke-juku, una estación del Tōkaidō).
Sin embargo, en el periodo Sengoku, los Imagawa recuperaron Tōtōmi y lo anexaron a la provincia de Suruga.
Con la abolición del sistema han en 1871 por el nuevo gobierno de los Meiji, Tōtōmi se convirtió en la poca duradera prefectura de Hamamatsu hasta 1876.