Ruhlmann fue alumno de Joseph Dupont en Bruselas.
De niño cantó en el coro del Teatro Real de la Moneda, y a los siete años tocaba el oboe en la orquesta.
Aunque fue movilizado en 1914, volvió a dirigir ocasionalmente durante la guerra.
En 1920 Ruhlmann intentó mediar en una disputa con los sindicatos de músicos en París, aunque simpatizaba con los intérpretes.
Dirigió muchos estrenos operísticos:[2] Durante mucho tiempo estuvo relacionado con la discográfica Pathé, con quien hizo muchas grabaciones, incluyendo seis óperas completas después de 1910, entre ellas Rigoletto (Verdi) en 28 lados; Fausto (Gounod) en 56 lados; y El trovador (Verdi), 1912 en 38 lados.