Se graduó en 1882 con honores excepcionales junto a su amigo y colega Karl Muck.
A partir de 1898 Fiedler estuvo activo en el extranjero como director invitado, actuando en Rusia, donde fue comparado con Artur Nikisch y Felix Weingartner, Madrid (1899), París (1901), Turín (1904), Roma (1906, 1908) y Londres (1907, 1908).
Después regresó a Alemania, para dirigir en Essen hasta 1933.
En Essen, Fiedler consolidó su reputación como figura importante de la vida musical alemana, dirigiendo un amplio repertorio que incluía a compositores contemporáneos como Walter Braunfels, Karol Szymanowski y Arthur Honegger, además de organizar cada año un festival dedicado a un compositor importante.
Entre sus obras hay una sinfonía, una obertura, un quinteto para piano, un cuarteto de cuerda, y piezas para piano y canciones.