En 1735 sus padres le consiguieron, tras duras y largas gestiones con la Santa Sede, el arzobispado de Toledo.
Desde años atrás, Luis deseaba abandonar la vida eclesiástica, puesto que no tenía vocación religiosa, sino otros intereses.
En otoño de 2012, Patrimonio Nacional dedicó una exposición al mecenazgo que desarrolló don Luis.
El deseo de contraer matrimonio que el infante había reiterado en diferentes ocasiones constituía un problema para Carlos III, ya que los derechos de sus propios hijos a la Corona española podían ser puestos en duda.
Había una opinión suficientemente extendida de que la Ley Sálica dictada en 1713 disponía en su redacción original que solo podían acceder al trono los príncipes nacidos en España (no obstante, no existe semejante cláusula en la ley publicada y en uso desde 1713) y este requisito no lo cumplían los hijos de Carlos III, al haber nacido en Italia cuando él era rey de Nápoles y Sicilia.
Carlos III consideraba que si el infante don Luis tenía descendencia reconocida, podía generar un conflicto sucesorio.
Mantuvo relaciones con varias mujeres del pueblo llano, así como con una dama titulada (antes de casado), con quien tuvo una hija.
El rey tomó cartas en el asunto tras realizar una investigación dirigida por su confesor, Joaquín de Eleta:[2] alejó al infante de la corte, y desterró al pintor a Puerto Rico.