Para huir de los cotilleos, la familia Gardiner partió en un viaje por Europa en 1840 y no regresaron hasta un año después.
Julia quedó devastada por la muerte de su adorado padre y Tyler intentó consolarla, obteniendo el sí a su última propuesta matrimonial.
Una de su mejores amigas, la ex primera dama, Dolley Madison, era invitada habitual en el hogar presidencial.
A su vez, su escrito fue contestado por una carta publicada en 1853 por el New York Tribune, de la esclava huida Harriet Jacobs, que firmaba: "Fugitiva".
Tras la muerte de su esposo en 1862, Julia se trasladó a Staten Island, donde su simpatía por los confederados tensó las relaciones con su familia.
Su casa casi fue quemada por veteranos de la Unión furiosos al descubrir una bandera confederada ondeando en la propiedad.