Su padre fue Minamoto no Tsunenobu y tuvo como hijos al monje Shun'e y a la esposa de Minamoto no Morotoshi.
Inicialmente fue asistente del Emperador Horikawa, pero poco después se convirtió en uno de los miembros más importantes en los círculos poéticos del Emperador Horikawa.
En 1124 el Emperador Shirakawa le ordenó la compilación de la antología imperial Kin'yō Wakashū.
Durante esta época tanto él como Fujiwara no Mototoshi fueron considerados importantes en la poesía waka.
El estilo de poesía de Toshiyori es considerado como liberal e innovador, lo que a veces traía conflictos con otros poetas.