[4] Poco después su padre contrajo matrimonio por segunda vez con Carlota Amelia Barclay, de la notoria familia Roosevelt.Visitaba los hogares de familias pobres, distribuyendo bienes vitales y llevaba a la joven Isabel con ella.La pareja tuvo cinco hijos, pero no fue un matrimonio feliz, y al final se separaron.Rechazadas por su madrastra, Isabel y su hermana mayor, María Magdalena, fueron llevadas a la casa de su tío, Guillermo Bayley, ubicada en New Rochelle (Nueva York).Ya desde entonces demostraba fuertes inclinaciones espirituales, que ella misma anotó en sus diarios.En ellos también recordó lo mucho que sintió la pérdida de quien representaba una segunda presencia maternal en su vida.En la convivencia con sus anfitriones, Isabel Ana empezó a conocer la fe católica.Habían llegado a Maryland para abrir el primer seminario para la formación del clero, según su carisma.[6] Sus restos fueron sepultados en la Basílica que lleva su nombre: el Santuario Nacional de Santa Isabel Ana Seton, en Emmitsburgo (Maryland).Al quedar viudo, Richard Bayley se casó por segunda vez con Charlotte Barclay Roosevelt, hija de Andrés Barclay y Helena Roosevelt, y nieta del político estadounidense Nicolás Roosevelt, patriarca de la familia, quien era hijo del emigrante holandés Claes Maartenszen van Rosenvelt.[8][9][10] Así los Bayleys quedaron emparentados con una de las familias más prestigiosas del país; el nieto de su cuñado Christopher fue Enrique Roosevelt, fundador del Roosevelt Hospital;[11] y su otro cuñado fue el banquero y político Isaac Roosevelt, cofundador junto con Alexander Hamilton del Banco de Nueva York.Educado en Inglaterra, Seton había tenido contacto con diversas empresas de contabilidad en Europa continental.Del matrimonio nacieron cinco hijos: Ann Mary (Annina), William, Richard, Catherine, quien fue la primera americana en entrar a la Congregación de las Hermanas de la Misericordia, y Rebecca Mary Seton Bayley.