En 1876, hizo parte de una nueva derrota militar y tuvo que exiliarse en Ecuador.
Posteriormente, participó en Ecuador como defensor del gobierno de José María Plácido (1883-1888).
Regresó a Colombia para ejercer como fiscal del Tribunal Superior de Pasto.
Para su reemplazo en el ministerio, Angulo nombró como ministro de hacienda encargado a Baldomero Sanín Cano, quien se desempeñaba como subsecretario.
Su padre fue magistrado de la Corte Suprema de Justicia, y su madre era pariente del expresidente Julián Trujillo Largacha, quien a su vez era sobrino del también expresidente Julián Trujillo Largacha.
Arquímedes se casó con Tulia Cajiao Urrutia, tía de la futura primera dama María Hurtado Cajiao (esposa del expresidente Laureano Gómez y madre de Álvaro y Enrique Gómez Hurtado).