Está considerado como el pionero de la generación de atletas finlandeses que dominaron las pruebas de media y larga distancia en los años 20, y a los que se conoce como los Finlandeses Voladores ("Flying Finns"), tales como Paavo Nurmi, Ville Ritola, Albin Stenroos o el propio Kolehmainen.
Por esta época Finlandia era parte del Imperio ruso, y aunque participaba en los Juegos Olímpicos con un equipo propio, en las victorias de sus deportistas era la bandera rusa la que se izaba.
Tras los Juegos se trasladó a Estados Unidos, donde residió hasta 1921, y participó en numerosas competiciones.
Su carrera deportiva sufrió un duro golpe por el estallido de la Primera Guerra Mundial, que hizo que se suspendieran los Juegos Olímpicos de 1916, previstos en Berlín.
Tras la guerra, en los Juegos Olímpicos de Amberes 1920, volvió a conseguir un gran éxito al vencer en la prueba de maratón, y además batiendo el récord mundial con 2h32:35 La 2ª posición fue para el estonio Jury Lossman, que llegó solo a 13 segundos, y la 3ª para el italiano Valerio Arri, a casi 4 minutos del ganador.