Hayne comenzó su carrera temprana como maestra, trabajando en escuelas en Lonsdale, Rhode Island, así como en Leicester y Lowell, Massachusetts.
En 1854, abrió una escuela privada en Rochester, Nueva York, y desde 1856 hasta 1860, fue la directora de un seminario para mujeres jóvenes allí.
[1] Durante este período, ella se hizo íntima con Olympia Brown y Mary A. Livermore.
Mientras ocupaba este lugar, ofició como capellán en la Cámara de Representantes y también en el Senado, en Augusta, Maine ; Esta fue la primera vez que una mujer actuaba en esa capacidad en ese Estado.
[3] Haynes, Phebe Ann Coffin Hanaford y Mary H. Graves fueron las primeras mujeres de Massachusetts en convertirse en ministras cristianas.
Así comenzó una amistad que continuó durante casi treinta años y terminó solo cuando Foley murió, habiéndose convertido en una prominente escultora en Roma.
Fue capellán por dos períodos en la Casa de los Soldados Nacionales cerca de Augusta, la primera mujer que había ocupado ese lugar, y recibió una invitación para un tercer mandato, cuando renunció a su pastorado en Hallowell por uno en Marlborough, Massachusetts.
Al año siguiente, fue invitada por unanimidad a pronunciar la oración del día.
Ella montó en un trineo abierto, con el termómetro por debajo de -18 °C, para oficiar en un funeral.
[10] En 1889, se vio obligada a abandonar su último pastorado, que estaba en Skowhegan, debido al exceso de trabajo.