Fue condenado a dos años de cárcel en Noya (La Coruña) entre 1465 y 1467, que pasó en el castillo de Vimianzo.

Para cumplir esta condición, en 1464 intercambió sede con su tío materno Alonso I de Fonseca, arzobispo de Sevilla, y cada uno fue a la sede del otro como administradores apostólicos.

Arreglados los problemas por Alonso I en menos de cinco años, quiso volver a Sevilla pero su sobrino se negó (1469).

Todavía en vida, 1507, quiso retirarse y promovió como sucesor en la sede a su hijo Alonso de Fonseca y Ulloa, también conocido como Alonso III de Fonseca, tras un breve interregno de Pedro Luis de Borja (sobrino del papa Alejandro VI),[3]​ para soslayar la prohibición de que un hijo sucediera al padre en una silla episcopal.

Murió cinco años después (1512), y está enterrado en el Convento de las Úrsulas de Salamanca, que él había hecho ampliar notablemente.