Los Woodville recibieron muchos títulos, pero en compensación, pocas tierras, que eran realmente la fuente del poder, ya que así no podrían convertirse en una amenaza para el consejero del rey, Ricardo Neville, Conde de Warwick quien realmente llevaba las riendas del gobierno y se cuidaba siempre de los nobles que rodeaban al rey.
Antonio volvió a Inglaterra junto con Eduardo con una flota y un contingente relativamente pequeño, que sigilosamente llegó hasta las puertas de York.
Ya que York no abrió sus puertas avanzaron hacia el sur engrosando sus fuerzas con antiguos leales, incluso contaron con Jorge de Clarence quien traicionó a Neville en apoyo de su hermano.
Pero la relación entre los miembros de la familia Woodville y Ricardo no era buena; este se sentía amenazado principalmente por Antonio y la gran influencia que ejercía como tutor del joven soberano que iba a heredar la corona, y su ambición propició una tragedia que luego escribiría William Shakespeare en su Ricardo III.
Al morir Antonio lo sucede su hermano Ricardo como Tercer Conde de Rivers, y la Baronía de Scales volvió a la Corona y no volvió a asignarse.
Rivers era un hombre bastante instruido; sin duda había aprendido un excelente francés de su madre.
Durante su exilio en Brujas se encontró con el primer impresor inglés William Caxton y allí, en 1475-76, Caxton publicó su Cordyale, o Four last thinges, su traducción al inglés de Les quattres choses derrenieres del francés Jean Miélot, a su vez traducción de una obra latina de Gerard van Vliederhoven: Cordiale quattuor novissimorum.