Contrajo matrimonio con María de la Concepción Doz Gordon, hija del teniente coronel Fermín Doz y de Margarita Gordon Archimbaud.Tuvieron los siguientes hijos: Fermín (1848), oficial de infantería, Luis (1855), oficial de artillería, Rosa y Teresa.No hay noticia de si Fermín llegó a heredar el título ni de su muerte pero es probable que muriera joven.Su hermano Luis Arístegui Doz, siendo conde de Mirasol, fue asesinado en 1886[14] por sus propias tropas amotinadas en la sublevación conocida como del brigadier Manuel Villacampa del Castillo, como se recoge en La Ilustración Española y Americana del 30/9/1886 donde se publicó una breve biografía y un retrato de este noble militar.El título pasó a su hermana Rosa quien contrajo matrimonio en 1871 con su primo segundo Carlos Pedro Gordon Prendergast (1844-1876) por lo que el título de conde de Mirasol pasó al apellido Gordon.