En 1769 contrajo matrimonio con María Ignacia Escudero y Servín, unión de la cual no hubo descendencia.Al enviudar, en 1771 contrae matrimonio en segundas nupcias con Ana Muñiz, originaria de Durango, habiendo procreado una numerosa descendencia.Aunque originalmente dicha institución fue abierta para proteger a niñas huérfanas, el colegio adquirió fama por su excelencia pedagógica y su escoleta musical, y por ello, fueron abiertas las puertas a las jovencitas provenientes de las familias de más abolengo en el estado, que pagaban una pensión para que sus hijas tuvieran la educación que se impartía gratuitamente a las huérfanas.Ana Huarte se distinguió como una excelente alumna y siempre obtuvo buenas calificaciones.Tocaba el clavicordio, y ya como emperatriz, fue discípula de José Mariano Elízaga (1786-1842), un notable músico que la ayudó a perfeccionarse.Ana María llegó al matrimonio con una excelente dote (100 000 pesos), lo que le permitió a la pareja comprar varias propiedades y aún guardar buena parte del dinero.Allí pensaban iniciar su vida en común pero la carrera militar de su esposo no lo permitió.Las guerras, luego las intrigas y finalmente sus deberes en diversos cargos, los distanciaron por largas temporadas.[1] Al momento de la coronación, Agustín tenía semi abandonada a Ana María, pero por razones políticas tuvo que reconciliarse con ella.El señor Lara queda encargado de poner en buenas manos, para que los recibas, mi reloj y mi rosario, única herencia que constituye el recuerdo de tu infortunado.Cuando le entregaron su cadáver, mandó a vestirlo con el hábito de San Francisco y así lo enterró.Pero como no encontraron barco para que les llevara, se trasladaron a Estados Unidos, donde residiría Ana María por el resto de sus días.El presidente de Estados Unidos, James K. Polk, aceptó recibir en la Casa Blanca a Ana María y anotó en su diario:[7] Ana María obsequió a la sacristía el traje usado en su coronación, de material entretejido de oro y plata, del que se hicieron ornamentos y relicarios.Sin embargo, tuvo la alegría de ver a su hijo Salvador contraer matrimonio con la distinguida mexicana Rosario Marzán.En cambio, la ex emperatriz nunca aprobó el matrimonio de su hijo Ángel con la estadounidense Alice Green.
