La familia Palmer de Amos y Annie, migró a EE.
UU. en 1878, y se estableció en Misuri cuando Ernest tenía 14 años de edad.
En gran parte autodidacta, Palmer comenzó a recolectar plantas para el Jardín Botánico de Misuri.
Desde 1921 continuó trabajando como recolector de plantas para Charles Sprague Sargent y al Arnold Arboretum.
Y su relación con el arboreto continuó, publicando varias obras, mostrando un papel decisivo en la recopilación de los primeros artefactos nativos americanos.