No tuvo oportunidad de seguir estudios reseñables.
Era conocido como el «Centauro de Ybycuí» debido a su destreza sobre el caballo.
Al comenzar la guerra de la Triple Alianza en 1864, tenía el rango de alférez y ayudante del Mariscal Francisco Solano López en Humaitá.
Al producirse el combate de Cerro Corá, en que murió el presidente López, Caballero estaba alejado del grueso del Ejército Paraguayo, al frente de una división que buscaba ganado para alimentos.
Fue tomado por sorpresa, ocho días más tarde por una división brasileña junto al río Apa, y se rindió cuando se le informó de la muerte de López y quedó prisionero con varios oficiales llevados al Brasil.
Este hecho generó irritaciones entre los discrepantes por adoptar algunas posturas que obedecían al Imperio del Brasil.
Durante su mandato Uruguay condonó la deuda externa con aquel país y devolvió los trofeos de guerra.