Era hijo del comerciante español Vicente Rosa Carim y de la porteña Josefa Pons Martínez.

Cursó sus estudios en el Colegio Nacional de Buenos Aires, que dirigía Amadeo Jacques.

De regreso en la Argentina, Rosa entró como ujier en Corte Suprema de Justicia, y luego se le ascendió, sucesivamente, a Fiscal en lo Civil, y a Juez del mismo fuero, hasta 1880, año en que renunció al juzgado para incorporarse al estudio de su amigo el doctor Juan José Romero.

José María Rosa estuvo al lado de Aristóbulo del Valle cuando participó de la formación del Partido Republicano en 1877, y le acompañó como colaborador del diario El Nacional, junto a Domingo Faustino Sarmiento y con el grupo liberal de sus amigos, Delfín Gallo, Pellegrini, Juan Carlos Gómez, Dardo Rocha, Miguel Cané, Lucio V. López y otros más.

Durante la década de 1890, Rosa perteneció al directorio del Banco Nación hasta que el recién electo presidente, el general Julio Argentino Roca, le ofreció el Ministerio de Hacienda en 1898.