Empezó a tomar lecciones de piano con un tutor particular a los ocho años y fue educado en Francia —en Sarreguemines, luego en Metz—, desarrollando un gran interés por la cultura clásica griega y los idiomas modernos —no solo el alemán, que hablaba con fluidez, sino también inglés e italiano—.
Gouvy, inclinado hacia la música instrumental pura en oposición a la ópera, se planteó la poco envidiable tarea de convertirse en un sinfonista francés.
Era poco envidiable porque los franceses, y en especial los parisinos, a lo largo de la mayor parte del siglo XIX vivían una locura por la ópera y no estaban particularmente interesados en la música instrumental pura.
Fue este desprecio por la música instrumental en general lo que llevó a Gouvy a vivir el último tercio de su vida casi siempre en Alemania (entre Leipzig y Berlín), donde era mucho más apreciado.
[1] Se reconocía universalmente a Gouvy por ser un maestro de la forma y por su hábil sentido del timbre instrumental.
En particular, escribió veinticuatro composiciones para gran orquesta,[2] entre ellas nueve sinfonías, así como oberturas y variaciones.