Sus padres, Lephia y Asa Brown, eran agricultores en lo que entonces se consideraba tierra de frontera.
Ellos fueron tía abuela y tío, respectivamente, del presidente de Estados Unidos Calvin Coolidge.
Lephia crio a sus hijos en un hogar que consideraba la religión y la educación como algo muy importante.
El impulso por la educación inculcado por la madre de Brown la había obligado a terminar la escuela secundaria y avanzar al nivel universitario.
Brown y su hermana menor Oella decidieron asistir a Mount Holyoke seminario femenino.
Una vez Brown terminó sus estudios en Antioch, decidió que su vocación era la de ser ministra.
Ella pasó a pastorear en iglesias en Weymouth, Massachusetts; Bridgeport, Connecticut ; y la mayoría con éxito en Racine, Wisconsin.
Debido a la habilidad del habla y creencias, Susan B. Anthony buscó continuamente la participación de Brown.
No fue hasta 1913 cuando fue invitada a unirse a la recién formada Unión del Congreso para el Sufragio de la Mujer, que más tarde se llamaría el Partido Nacional de la Mujer, por Alice Paul y Lucy Burns .
Como resultado, estas mujeres fueron encarceladas y sufrieron maltrato lo cual, junto con la exposición de prensa masiva, condujo a un mayor apoyo para el movimiento.
Sin embargo, con la ratificación aún necesaria, Brown y otras hicieron una última marcha en la Convención Nacional Republicana de 1920.
Brown se casó con John Henry Willis en 1873; optó por mantener su apellido de soltera.