[1]​ Hizo su primera aparición pública como pianista de concierto en 1850 y estuvo de gira durante dos temporadas, luego se estableció con su familia en Leipzig, donde estudió piano con Ignaz Moscheles desde 1852.

Viajes posteriores lo llevaron a Saarbrücken, donde en 1861 tomó el puesto de director de orquesta que había dejado libre Hermann Levi; a Colonia, donde en 1865 Ferdinand Hiller lo nombró miembro del personal del Conservatorio (entre sus alumnos se encontraban Engelbert Humperdinck y Carl Lachmund); luego se desempeñó como director musical de la Sociedad Filarmónica de Róterdam entre 1874 y 1890.

En el último año se convirtió en profesor en el Conservatorio Stern de Berlín, y en 1897 se trasladó allí para enseñar en la Academia de Artes de Prusia, donde fue elegido para el Senado en 1897.

Las últimas obras de Gernsheim, sobre todo su Zu einem Drama (1902), le muestran alejarse de eso hacia algo más personal.

Debido a su origen judío, su trabajo fue prohibido en la Alemania nazi, y sus papeles y una biografía escrita sobre él por Karl Holl fueron retirados de las bibliotecas de música.