Al regresar a su ciudad natal decidió alistarse en las tropas porteñas, comandadas por Bartolomé Mitre, y al año siguiente intervino en la batalla de Pavón siendo distinguido a pesar de su juventud.
En ese año el jefe de noticieros del diario enfermó y Paz dispuso (a costa de contraer él mismo la fiebre amarilla) que lo llevaran a su domicilio donde lo cuidó hasta que recuperó la salud.
Al fracasar, debió exiliarse en Montevideo, donde terminó sus estudios de derecho.
Al tiempo decidió renunciar a su banca para aceptar la representación diplomática en Madrid.
En 1900 retornó nuevamente a Europa donde encargó al prestigioso arquitecto francés Louis-Marie Henri Sortais el diseño de una mansión de dimensiones inusitadas para la geografía porteña, el Palacio Paz, ubicado frente a la Plaza San Martín, que fue la más grande de la ciudad y que su propietario no llegó a ver terminada.