En el gobierno de Isabel, frenó la tendencia proaustriaca del canciller Alekséi Bestúzhev-Riumin, inclinándose hacia Francia.

En 1746, Vorontsov cayó en desgracia y no tuvo nada que ver su relación con Federico II ni su amistad con Lestocq.

Las acusaciones se lanzaron en un momento en que el vicecanciller "tomó vacaciones y empezó a viajar por Europa, sorprendiendo a París con una bata de gansa siberiana y al papa Benedicto XIV con una gran tontería en su conversación sobre la reunificación de las iglesias".

[2]​ Cuando regresó a San Petersburgo, pudo justificarse y recuperar su posición ante la emperatriz.

Además de heredar el llamado "sistema Pedro" de Bestúzhev-Riumin, una alianza con Austria contra Turquía), él e Isabel I continuaron la guerra con Prusia, aunque estuvieron próximos a la alianza bajo Pedro III.

Fue uno de los últimos en prestar juramento y sólo al conocer la muerte del zar Pedro.

Sin embargo, Catalina II, que lo vio como un diplomático con experiencia y trabajador, lo dejó como canciller.

A pesar de la generosidad de la zarina Isabel, que le otorgaba localidades y fábricas, siempre necesitaba dinero, continuamente solicitaba subsidios o pagaba deudas y pedía todo lo posible.

Enterrado junto a sus padres en el monasterio de la Santa Cruz, que sería demolido en 1934.

Como no vivía con su legítimo marido, Aleksandr Stróganov, ni tenía hijos, la herencia del canciller se dividió entre sus hermanos después de varios pleitos.