En 1780 se iniciaría la «Gran Rebelión» de José Gabriel Túpac Amaru con la ejecución del corregidor español Antonio Arriaga.

En 1799 Avilés marchó a Buenos Aires como virrey del Río de la Plata.

Dedicaba gran parte de su tiempo a asuntos religiosos, por lo que era conocido popularmente como el "virrey devoto".

Contrajo matrimonio con la limeña Mercedes Risco y Ciudad, apodada "la santa virreina", junto a la que sufragó diversas obras de caridad, como el hospital del Refugio para mujeres.

Su labor al frente del gobierno fue semejante a la de sus dos anteriores destinos.

Tras cesar en el cargo en julio de 1806, Avilés se quedó a vivir en Lima.

Ese año decidió volver a España pero enfermó durante el viaje y murió en Valparaíso en septiembre.