Fue el menor de seis hijos de una familia humilde, pero con recursos suficientes como para que pudiera acudir a la escuela y aprender a leer y escribir, lo que más tarde le permitiría escribir sus memorias.
Algo después, un hermano de su mujer que acababa de ser licenciado del ejército, al que llamaban el Beato por haber querido ser fraile, se presentó en Estepa con un compañero llamado Solís, al que apodaban el Verrugo, y no encontrando trabajo marcharon a Martín de la Jara, robando por el camino unas gallinas.
El casero que denunció los hechos confundió a Caballero con Solís, por ir en compañía del Beato, por lo que lo encarcelaron en Estepa, comenzando en la cárcel su carrera delictiva.
[5] Tras la separación amistosa y andar solo durante seis meses formó una nueva partida que actuaba principalmente entre las campiñas de Sevilla y el sur de Córdoba, buscando refugio en los cortijos.
En 1832 se acogió al indulto ofrecido por el rey Fernando VII de España, y pasó el resto de su vida pacíficamente en Estepa, hecho íntimo amigo del cacique local, según escribía en 1908 el comandante de la Guardia Civil Rafael García Casero, «disfrutando muy regaladamente el capital arrancado con la vida a sus infinitas víctimas en su larga carrera de malhechor en cuadrilla.