Hijo de un humilde agricultor, Gaetano estaba destinado hacia la profesión de su padre, mas el apasionado gusto que sentía por la música le hizo descuidar las tareas del campo, lo que acarreó el enfado del padre y el soportar los castigos infligidos por este para hacerle olvidar su deseo de cantar en la iglesia cercana a la localidad.Un músico, llamado Domenico Caffaro, notó la asiduidad con que el joven granjero visitaba la capilla de la cual él era profesor, y decidió hacer justicia uniendo la voz del chico a la de los otros niños cantores para darle una oportunidad.Así pues el padre se dejó convencer y le dio permiso para que Gaetano viajara a Nurcia para la acostumbrada operación de castración.Una vez enseñado lo envió a Nápoles para estudiar con Nicola Porpora, un gran maestro de canto y compositor.Desde ese momente Gaetano toma como reconocimiento a su tutor el sobrenombre de Caffarelli.