Apenas terminó sus estudios secundarios marchó a Europa, de donde retornó en 1853, tras la caída del gobernador Juan Manuel de Rosas, a cuya causa no había querido sumarse en la adolescencia.

[1]​ Regresó a la actividad parlamentaria bonaerense al año siguiente y fue nombrado como Comisionado de Inmigración.

Realizó numerosas obras de infraestructura e iniciativas públicas; designó al primer ingeniero argentino Luis Huergo, para la planificación de rutas y canales.

[1]​ Electo en septiembre de 1874, Avellaneda y Acosta fueron opositores a Bartolomé Mitre, quien mantenía rivalidades con el benefactor de Avellaneda, el saliente vicepresidente Adolfo Alsina.

Por ser laico franciscano, Acosta fue velado y sepultado en la cripta de la Iglesia San Francisco en aquella ciudad.