En 1506 fue uno de los caballeros toledanos que se comprometió, bajo juramento y pleito homenaje, a guardar la paz en la ciudad y no participar de ningún altercado que pudiese surgir en ella.

[7]​ Ello no evitó, sin embargo, el recrudecimiento de la guerra de bandos entre los Ayala, familia a la que pertenecía, y sus rivales los Silva, que al año siguiente se enfrentaron en un grave refriega callejera que dejó varios muertos y numerosos heridos.

En 1518, ya en el reinado de Carlos I, el conde fue nombrado gobernador general del reino de Galicia, al frente del cual estuvo ocho años.

Sin embargo, Inés falleció en julio de 1494 sin que la pareja llegase a tener hijos.

[15]​ Con igual resultado, el conde casó por tercera vez con Francisca de Ribera, perteneciente, al igual que su primera esposa, a la familia de los Silva.