Era hija de la abolicionista Ann Carroll Fitzhugh y del filántropo antiesclavista Gerrit Smith.

[2]​ Estudió en el Seminario Doméstico de Señoritas en Clinton, Nueva York (1835-1836) y en una escuela cuáquera en Filadelfia (1839-1840).

[1]​ En 1843, se casó con Charles Dudley Miller; realizando la ceremonia el abolicionista Beriah Green.

[3]​ Más tarde fue el hogar de su hijo, Gerrit Smith Miller.

[1]​ La reforma de la vestimenta se consideraba esencial para liberar a las mujeres de las limitaciones impuestas a sus actividades por las convenciones que reforzaban una sociedad dominada por los hombres.