El padre de Ima dejó la función pública en 1895, y poco después, a su madre se le diagnosticó tuberculosis.Tras la muerte de su padre en 1906, viajó a Europa y pasó dos años estudiando música con Xaver Scharwenka en Viena.La Fundación Ima Hogg fue el principal beneficiario de su voluntad, y lleva a cabo su labor filantrópica hasta hoy.Se han establecido varios premios anuales en su nombre, en reconocimiento a sus esfuerzos por preservar el patrimonio cultural de Texas.Al nacer su única hija, Jim Hogg le escribió a su hermano: «¡Desbordamos de alegría![10] Ima Hogg más tarde relataría: «Mi abuelo, Stinson, vivía a 24 km de Mineola y las noticias no llegaban rápidamente.Cuando se enteró del nombre de su nieta viajó rápidamente a la ciudad para protestar, pero ya era demasiado tarde.[12] A menudo se vio obligada a decir que el mito era falso; cientos de personas escribían cartas preguntando si Ima era su nombre real y si realmente tenía una hermana llamada Ura.De esta manera se defendió a sí misma, lo hizo con gran habilidad y cortesía inquebrantable».Su bisabuelo, Thomas Hogg, ayudó en las legislaturas estatales de Georgia, Alabama y Misisipi.[23] Su mandato expiró en 1884, y la familia se mudó a Tyler, Texas, donde aprendió de leyes.Así pues, se realiza la primera inauguración en la reciente construcción del Capitolio Estatal de Texas.
La familia Hogg vivió en la residencia del Gobernador de Texas en Austin durante el período en el que Jim Hogg fue el vigésimo gobernador de Texas.