Long nació en Greensburg, en el condado de Decatur, Indiana.

Ella conoció a Huey Long después de ganar un concurso de pastelería que había organizado.

Debido a que Hattie Caraway ya estaba sirviendo en el Senado en el momento de la elección de Rose, representó la primera vez que dos mujeres sirvieron al mismo tiempo en ese cuerpo.

Fue la madre del senador Russell B. Long así como Rose McConnell Long McFarland de Boulder, Colorado, y Palmer Reid Long de Shreveport.

Ella fue retratada en la película para televisión Kingfish: A Story of Huey Long por Ann Dowd.