Él sería su gran amor y tuvieron una hija adulterina, María Salvadora Bermúdez de Castro y Díez nacida en Roma, en la Villa Farnesina el 20 de enero de 1864.

Entre tanto, fue embajador en París (1865), renunció en 1866 y se afincó en Roma donde vivía Matilde Ludovica, tras haberse separado ya de su marido.

En 1878, Luis se arrojó al lago Zug, cerca de Zúrich, falleciendo ahogado.

Sin embargo, otras fuentes establecen su muerte en París, en junio de 1886.

La confusión puede deberse a que su suicidio, de haberse admitido, hubiese sido un enorme escándalo teniendo en cuenta que se trataba del cuñado del emperador de Austria, Francisco José I. Matilde sobrevivió a su marido treinta y nueve años, aunque no volvió a contraer matrimonio.