Era hijo del infante Luis Antonio Jaime de Borbón y Farnesio.
En 1779 su familia se trasladó a Velada y Arenas de San Pedro, donde su padre se convirtió en mecenas de importantes artistas, como Goya, quien retrató a su familia.
Su tío el rey Carlos III había dispuesto destinarle a la carrera eclesiástica, y que sus hermanas entrarían religiosas, pues deseaba evitar a toda costa que estos sobrinos tuviesen descendencia que pudiese disputar el trono a sus hijos, nacidos fuera de España.
Esta imposición, empero, no contrariaba los deseos del joven, que a diferencia de su padre se sentía llamado al sacerdocio.
Goya pide ayuda al regente para «perpetuar, por medio del pincel, las más notables y heroicas hazañas... contra el tirano de Europa».