Era un adolescente aun cuando su padre —el paraguayo Juan Andrés Gelly— debió exilarse en Montevideo llevando consigo a su hijo, debido al apoyo que había prestado a la dictadura del general Juan Lavalle y su posición contraria a Juan Manuel de Rosas.

Participó en la batalla de Tuyú Cué y fue ascendido a brigadier general por el presidente Mitre.

[2]​ El presidente Sarmiento lo nombró comandante del ejército argentino en el Paraguay, participando en la Campaña de Pikysyry, aunque renunció por un fuerte altercado con el presidente poco antes del saqueo de Asunción.

[4]​ Fue el jefe de las fuerzas nacionales en Corrientes, donde combatió al general Nicanor Cáceres, que intentaba defender al gobernador constitucional de una revolución apoyada por el presidente Mitre.

No pudo impedir la marcha del jefe rebelde hacia Corrientes, donde sería decisivamente derrotado.

Sus restos fueron depositados en el Cementerio de la Recoleta, y su tumba fue declarada Monumento Histórico.