Comenzó a practicar el ciclismo en 1928.

Pasó por el Guidon Nogentais, después por el Vélo-Club de Levallois,[1]​[2]​ y se convirtió en profesional en 1935.

En 1937 Jules Rossi ganó la París-Roubaix, recorriendo los 255 km en 7h 17 min 57 s. En 1938, ganó la París-Tours con 42.092 km/h de media, y se convirtió en el poseedor del récord Ruban Jaune, récord de velocidad en una carrera de más de 200 km.

Conservó el récord durante 10 años hasta que Rik Van Steenbergen en 1948 le desbancó.

Ganó también el Gran Premio de las Naciones durante la guerra en 1941 en zona no ocupada.