Era hijo de Jacobo Fitz-James Stuart y Ventimiglia, xv duque de Alba, y de María Francisca de Sales Portocarrero, ix condesa de Montijo.

Nació en el palacio de Liria de Madrid el 4 de diciembre de 1849 y fue bautizado pocos días después en el Palacio Real con los nombres de Carlos María Isabel Francisco de Sales Bárbara, siendo su madrina la reina Isabel II.

Fue senador por derecho propio entre 1881 y 1901.

[1]​ La muerte sin sucesión de su tío paterno en 1882, dio pie a la Corona española para evitar que heredara el conglomerado cuantioso de títulos del Infantado y de Pastrana, lo que lo hubiera convertido en el más poderoso terrateniente de España, ya que acumulando ambos patrimonios, casi triplicaba las propiedades de la misma Corona.

[cita requerida] Casado en 1877 con María del Rosario Falcó y Osorio, xii condesa de Siruela, tuvieron descendientes: