Luis Fernando además tenía un hermano mayor, Alfonso, llamado familiarmente Ali, y en 1890 su madre dio a luz a una niña, Roberta, que no sobrevivió el parto.
Se le impusieron los nombres de Luis Fernando María Zacarías.
Desde aquel momento, Luis Fernando comenzaría a tener una relación indiferente hacia su madre, que dedicaba su tiempo a viajar por varios países europeos, y cortó cualquier vínculo con su padre, que por aquel entonces mantenía una tormentosa relación con su amante, Carmen Giménez Flores, a la que posteriormente Alfonso XIII otorgaría el título de vizcondesa de Térmens, para la irritación de Eulalia.
En 1929 la prensa publicó que Luis Fernando estaba comprometido con Mabelle Gilman Corey, una actriz de Broadway y la antigua esposa de William E. Corey, un magnate del acero.
Desde hacía años se había cuestionado su orientación sexual, abiertamente amanerado y al que el populacho madrileño llamaba "el rey de los maricas".
De hecho, se comenta que cuando Hitler obligó a los judíos a llevar la estrella amarilla en Alemania en 1938, se le vio paseando por Berlín con una cosida en su chaqueta.
En 2012 la editorial Espasa publicó la primera biografía de Luis Fernando de Orleans y Borbón bajo el título El infante maldito, obra del escritor José Carlos García Rodríguez.