[1]​ Comenzó a practicar gimnasia por tradición familiar debido a que su madre, Mariví Martínez, lo practicó de joven, y su padre, Jesús ''Fillo'' Carballo, fue el seleccionador nacional del equipo de gimnasia artística femenina.

En 1994 se proclamó por primera vez campeón de España sénior, título que también consiguió en los años 1995, 1996 y 1998.

En noviembre de 1996 sufrió una lesión en el brazo izquierdo al enganchársele la callera con la que se protegen los gimnastas.

La lesión consistió en una doble fractura de cúbito y radio, por lo que tuvo que llevar escayola durante una temporada, consiguiendo recuperarse meses después con la ayuda de sus entrenadores, Marco Antonio Vázquez y Lev Galiandri.

[5]​ Durante la recuperación de esta operación, falleció Marco Antonio Vázquez, su entrenador personal.

Debido a esta lesión no pudo participar en los Juegos Olímpicos de Sídney.

Al respecto de esta lesión, el doctor Pedro Guillén, que también le había operado la última vez, comentó que en la rodilla apreció una rotura del ligamento cruzado que se le había injertado en agosto del año anterior y otra parcial en los meniscos interno y externo, ambos con un 30% de desgarro.

En los Juegos Olímpicos de Atenas 2004, Carballo volvió a caerse en el ejercicio de barra fija al igual que en Atlanta' 96, esta vez en la clasificación, por lo que no pudo clasificarse para la final.

En Atenas, el equipo español lo integraban Jesús, Alejandro Barrenechea, Víctor Cano, Oriol Combarros, Gervasio Deferr y Rafael Martínez.

[11]​ Se convirtió también en entrenador, llegando a colaborar en la Escuela Nacional de Gimnasia, y en 2011 fundó Trainido, servicio de entrenadores personales en línea que acerca la práctica deportiva supervisada por profesionales.