En la estancia de Las Vacas nacieron sus tres primeros hijos: María Elena, Manuel Tadeo y Juan Fermín.Yapeyú era el pueblo más meridional de las Misiones, poseía un amplio territorio que llegaba hasta el Río Negro en la Banda Oriental, dedicado a la ganadería, y era el principal centro de contacto misionero con Buenos Aires, mediante el Río Uruguay.Se inició luego de su llegada un conflicto con Portugal en las Misiones Orientales, por lo que en 1777 debió organizar la defensa, trasladándose a San Borja, en donde armó un cuerpo de 550 milicianos guaraníes que luego participaron en las Invasiones Inglesas y entre los cuales se hallaba Andrés Guazurary.No se destacó por su tacto político ni por su habilidad: bajo su gobierno las misiones continuaron desintegrándose económica y socialmente.Bajo los nuevos administradores, entre ellos San Martín, todo eso cambió: los pueblos recibieron una importante inmigración blanca; se permitió el comercio particular, que hasta entonces estaba prohibido, lo cual llevó a que muchos indígenas inocentes fueran víctimas de estafas de todo tipo.En esta región restableció la Ruta al Salto, mediante la cual se enviaban a Buenos Aires para su comercialización los excedentes de yerba mate, algodón, tabaco, grasas y cueros.La epidemia de viruela había cortado esta ruta comercial iniciada por Bucarelli en 1769, la cual llegaba por tierra hasta el embarcadero de San Antonio del Salto Chico o Ytú, desde donde, ya salvados los saltos Grande y Chico del río Uruguay, continuaba por barco.El ganado se había refugiado en la zona de los río Negro y Yí, donde era explotado ilegalmente.Durante esta visita organizó el pueblo de Paysandú, transformándolo en un concurrido puerto en la Ruta al Salto.Se consideraba que había entrado a la nobleza por ser gobernador; sin embargo, debió soportar un duro juicio de residencia por su actuación en las Misiones, del cual no salió muy bien parado, ya que no volvió a ser gobernador.La última teoría combina ambas: hijo de Alvear y una indígena guaraní, criado por San Martín.