Su abuelo, Hans Kaspar Escher (1755-1831), debió emigrar luego de la gran bancarrota en Zúrich y prestó servicio militar en Rusia.
Del matrimonio nacieron sus hijas Lydia y Hedwig, que murió cuando era niña.
En 1890, poco antes del fin de su trágica vida, utilizó la fortuna Escher para crear la fundación Gottfried Keller.
A este consejo perteneció ininterrumpidamente hasta el final de su vida y fue por tres veces su presidente.
Por su iniciativa, en agosto de 1863, 15 cantones y las empresas Centralbahn y Nordostbahn acordaron formar la Asociación para la Construcción del Ferrocarril de San Gotardo (Vereinigung zur Anstrebung der Gotthardbahn).
Escher participó en el comité de negociaciones que reunía a los capitalistas, las autoridades federales y cantonales, los gobiernos de los países vecinos Alemania e Italia, así como otros grupos interesados.
Sin embargo, grandes dificultades y aumentos imprevistos en los costos de construcción empañaron el proyecto.
El patrimonio de Alfred Escher se encuentra en los siguientes archivos y bibliotecas: Esta lista sigue sin tener parangón en toda Suiza: