A los nueve años y bajo el entrenamiento de Don Regenboghen pasó al club Quantico Devil Dolphins.

En 1986, Jeff fue elegido novato del año en su primera participación en el Campeonato Nacional de Estados Unidos.

[3]​ En su debut olímpico en 1992, fue vencido por el canadiense Mark Tewksbury en la parte posterior de 100 m espalda.

Por detrás el cubano de 19 años Neisser Bent que lograba la segunda mejor marca, 54.83.

Ya en la final, los primeros 50 metros Rouse marcó 26.30. aventajando a los demás nadadores, y sin problemas se impuso en la prueba con 54.10.