Fue miembro fundador del Instituto Rural de Mujeres Escocesas.Las «Brown Women» no fueron nombradas en su honor sino por los abrigos marrones que llevaban las caminantes.[4] Brown y otras cuatro personas, incluida Sarah Benett, partieron de Edimburgo en 1912 para caminar hasta Londres.[2] Las caminantes tuvieron que hacer quince millas y asistir a una reunión cada día y de esta manera tardaron cinco semanas en llegar a Londres.[5] Siguieron la ruta de la A6 y se les unieron otras a lo largo del camino.Ese grupo formó la Northern Men's Federation for Women's Suffrage («Federación de Hombres del Norte para el Sufragio Femenino») y Agnes se ofreció para ser su secretaria.Otros miembros fueron Sarah Siddons, Lillias Tait Mitchell y Agnes Syme Macdonald.