Ross nació en Naughton, y se crio en Montreal, donde comenzó a jugar al hockey sobre hielo.

En 1905 se unió a los Brandon Elks de Manitoba, y en 1907 ganó su primera Copa Stanley con los Kenora Thristles.

Durante su época como jugador, destacó por un juego aguerrido y de ataque.

En 1922, fichó como entrenador de los Hamilton Tigers, aunque dejó el cargo un año después.

Durante ese periodo además sugirió varias innovaciones en el juego, como el puck moderno, el diseño de las porterías, y la creación del Trofeo Art Ross en 1947, que se otorga al jugador con más puntos (suma de goles y asistencias) al término de la temporada regular.