Fue el hijo mayor del conocido educador Horace Mann Sr.
Recibió buena parte de su educación de su padre, que fomentó el interés por la naturaleza.
Se matriculó en la Escuela Científica Lawrence, donde tomó cursos de zoología con Louis Agassiz y en botánica con Asa Gray.
A su regreso, Mann se especializó en la flora de Hawái; y preparó un "Enumeratio of Hawaiian Plants" para su tesis, que obtuvo en 1867.
Gray, aparentemente esperaba desarrollarlo como sucesor en el trabajo botánico de la Universidad de Harvard, y puso a Mann a cargo del jardín botánico y del "Departamento de botánica" cuando se fue a Europa en septiembre de 1868.