Al morir su padre en el duelo, Alberto Enrique y sus hermanos, Enrique y Francisco, fueron recogidos por la reina Isabel II y su marido Francisco de Asís, que ya se encontraban en el exilio, viviendo en París en el llamado Palacio Castilla, hoy Embajada de España en Francia.

Durante mucho tiempo se negó a recibir la indemnización de 30 000 pesetas, cantidad considerable en esa época, que le ofreció el duque de Montpensier en compensación por haber matado a su padre en duelo, aunque al fin la necesidad le obligó a aceptarla.

El nuevo rey de Italia, Víctor Manuel II, alertado de la precaria situación de los jóvenes Borbón-Sevilla, les ofreció un palacio en Florencia con servidumbre y coche, pero su tío, el rey consorte, Francisco de Asís, no lo consideró conveniente y les negoció el ingreso en el ejército francés.

Posteriormente Alberto y sus hermanos Enrique y Francisco se unieron al ejército del pretendiente carlista Carlos VII, hasta que con la restauración de la monarquía en España, en 1875, con Alfonso XII, se pasaron a las filas alfonsinas.

Enrique, el mayor de los hermanos, sucedió a su padre en el Ducado de Sevilla en 1882, mientras que Alberto permaneció en el ejército y obtuvo el Marquesado de Santa Elena, elevado posteriormente a ducado.