El infante mantuvo además otras relaciones extramaritales, llegando incluso a tener una hija con una reconocida dama linarense, Concepción Martínez y Chacón, y se especula que fue padre de otra criatura nacida en Montoro.
Así, en 1892, acompaña a su esposa en un viaje a Cuba, Puerto Rico y a los Estados Unidos, en representación de la reina regente con ocasión de la celebración del IV centenario del descubrimiento de América.
Inmediatamente seducido por esta joven bretona, el príncipe entabló con ella una relación amorosa que expusieron en un viaje por Londres, París y Sevilla.
Aun así, Antonio era incapaz de ser fiel y la relación acabó en 1906.
Durante todos estos años, el duque había mantenido un alto nivel de vida y había dilapidado la fortuna familiar, mientras que su mujer vivía en una relativa pobreza.