De 1975 a 1983 ocupó distintos destinos en el Ministerio de Exteriores, estuvo en la Sección asiática, empezando su carrera como diplomático.
En septiembre de 1989, fue enviado a la Embajada china en Japón, donde trabajó durante 5 años.
Cuando regresó a China en marzo de 1994, Wang fue nombrado como subjefe de la Sección asiática del Ministerio y promovido a jefe al año siguiente.
Wang fue miembro del 17° Comité Central del Partido Comunista Chino en su sesión de 2007 a 2012 y del actual 18.º Comité Central de 2012 al 2017.
En 2016, a raíz de unos comentarios realizados como respuesta a un político canadiense en las que Wang Yi le acusaba de tener unos prejuicios antichinos, el ministro de exteriores obtuvo una fuerte repercusión en su país por el uso y estilo conocido como diplomacia del lobo guerrero, que provocó que en la plataforma web Sina Weibo, una de las redes sociales más utilizadas en la República Popular China, se crease un grupo de seguidores suyos que alcanzó 130.000 seguidores poco tiempo después de su creación.