Continuó allí su labor militar participando en otras campañas hasta 1751, que fue nombrado gobernador militar de Badajoz, y finalmente le elevó a teniente general de Aragón en 1754.

Su mandato se caracterizó por una constante falta de dinero, que tras varios préstamos a nobles y comerciantes consiguió superar.

En el aspecto militar, reprimió una rebelión en Yucatán, y dirigió un ataque naval contra el puerto de La Habana, ocupado por los ingleses, a quienes consiguió echar.

Villalba, desde un principio, tuvo una relación tirante con el virrey, teniendo desacuerdos en la organización y formación de la tropa.

El virrey también tuvo conflictos con el visitador general José de Gálvez, enviado para inspeccionar los tribunales, la Real Hacienda, y establecer el estanco del tabaco, debido a que intervenía en asuntos que tradicionalmente habían sido competencia virreinal.