Su suicidio por seppuku es famoso, y se consideró como el que abrió la vía a esta práctica.
Yorimasa conduce las tropas Minamoto, acompañadas de sōhei (monjes-guerreros) del templo Mii-dera, para defender el Byōdō-in donde está refugiado el príncipe.
Para evitar ser capturado por el enemigo se da muerte a sí mismo por medio del seppuku, habiendo escrito antes un poema.
Entonces, Yorimasa bebió sake, escribió un poema de despedida, cogió su espada y la hundió en su vientre; después Tonau lo decapitó, ató su cabeza a una piedra y cruzó a través de las filas enemigas hasta llegar a la parte más profunda del río donde la arrojó para que nadie la encontrara, puesto que era costumbre entre los samurái cortar la cabeza de los enemigos a los que se les daba muerte en combate para presentarla como prueba y cobrar la recompensa.
Una leyenda sacada del Heike Monogatari afirma que, en 1153, Yorimasa habría matado a golpe de flechas un Nue que se habría posado sobre el tejado del palacio imperial.