La estancia de Antonio Caballero como canónigo en Córdoba durante ese tiempo se caracteriza por su trabajo como sacerdote ejemplar y como diplomático acompañante de personajes ilustres que desfilan por Córdoba, pero en el año 1767 abandona todo lo que pueda significar vida pública y se retira al convento de San Felipe Neri, donde hace una vida apartada, dedicada solamente al estudio y a la oración.

La causa es la situación de controversia que en Córdoba produjo el decreto real expulsando a los jesuitas.

No se pudo probar su sospechosa participación en el asesinato del Virrey Juan de Torrezar Pimienta y logró hacerse recomendar ante la corte para remplazarlo.

[3]​[4]​ En 1785 tuvo que poner en ejecución el arresto del exreligioso jesuita Juan José Godoy ante la posibilidad que estuviese reuniendo recursos y apoyo en Estados Unidos para iniciar una revolución en los dominios españoles, razón por la cual envió agentes a Filadelfia para hacerle creer que se planificaba una revuelta en Cartagena.

El ex sacerdote cayó en la trampa, en 1787 es aprehendido en la Jamaica británica y deportado a Cádiz, donde muere.

Durante su pontificado cordobés realizó visita pastoral a toda la provincia empezando por Priego y Lucena.

También realizó obras en la Mezquita-Catedral, donde colocó los dos púlpitos barrocos, que permanecen en el crucero.