Luego pasó por Rufino en 1915, Huinca Renancó, Del Campillo, Río Cuarto, Firmat, Elortondo, hasta que volvió a Mercedes, para cumplir con el servicio militar.
Rafael Rossi se instaló en Buenos Aires, ya en forma definitiva, vinculándose en 1919 con José Martínez.
En 1920 participó con Francisco Canaro y Roberto Firpo en la orquesta gigante para los carnavales.
Se casó con Juana Herminia Gandino y tuvo una hija, Ada Norma Rossi.
Como compositor creó un extenso número de tangos, entre los más recordados se citan: