Este viaje constituyó una ocasión perfecta para que su enemigo Fujiwara no Nobuyori urdiera un levantamiento junto con los Minamoto.
Así, Nobuyori se autoproclamó canciller imperial, de manera que sus planes políticos fueron ganando solidez.
Una vez hubo conseguido que este se despreocupase, Kiyomori facilitó la fuga al emperador y su hijo para tenerlos de su lado.
Además, obtuvo permiso imperial para efectuar su venganza atacando a Yoshitomo y Nobuyori.
Yoshihira luchó duramente y persiguió a Shigemori por las tierras del palacio imperial.