[3]​ Sobre esta relación extramatrimonial la propia infanta Eulalia escribió: Esta relación amorosa hizo que el duque de Galliera quisiera obtener un título nobiliario para su amante.

Para ello se demostró mediante un árbol genealógico —que en ocasiones se ha tachado de falso— que Gregorio de Brito y Carmen Giménez Flores era parientes, a partir del apellido de la abuela materna de Carmen, que también era Brito.

[3]​ La infanta Eulalia dirigió sus protestas por carta a la reina madre María Cristina, su cuñada, lo que provocó la ruptura entre el infante y la infantona.

Con posterioridad se inició un largo pleito judicial contra ella, que culminó con la devolución de algunos bienes que había adquirido del duque mediante ventas simuladas.

Tras ello, la vizcondesa volvió a Cabra, su localidad natal, donde cambió su estilo de vida dedicándose a realizar obras de caridad.