[1]​[2]​ Gedalge nació en 75 rue des Saints-Pères, en París, donde trabajó inicialmente como vendedor de libros y editor, especializándose en livres de prix para colegios públicos.

Durante este tiempo publicó libros de Marie Laubot y Edmond About para la Librairie Gedalge.

En 1891, Gedalge compuso la partitura para le Petit Savoyard, una pantomima en cuatro actos presentada en les Nouveautés.

Influyó en muchos estudiantes de música, entre ellos André Bloch, Nadia Boulanger, Claude Delvincourt, Jean Roger-Ducasse, George Enescu, Arthur Honegger, Jacques Ibert, Charles Koechlin, Paul Ladmirault, Raoul Laparra, Darius Milhaud, Max d'Ollone, Henri Rabaud, Maurice Ravel y Florent Schmitt.

Fue relativamente modesto y, como tal, no logró una gran reputación como músico individual, pero fue bastante beneficiado con el amplio reconocimiento de sus estudiantes.