En 1960 regresó a Finlandia para ser jugador-entrenador en el HJK Helsinki; aunque colgó las botas en 1966, se mantuvo al frente del club blanquiazul hasta 1971.

Aunque no ganó ningún título mientras estuvo en Kuopio, sus registros goleadores le valieron tres premios al futbolista finlandés del año en 1949, 1950 y 1952.

Rytkönen se retiró como jugador en 1966 para centrarse en la gestión deportiva y permaneció al frente del HJK hasta 1971.

Después de una breve estancia en el TIPS Tikkurila, volvió al HJK para ocuparse del equipo femenino en distintas etapas, ayudándolas a conquistar siete ligas, hasta su retirada definitiva en 1996.

[3]​ En 2010, el ayuntamiento de Kuopio le puso su nombre a la calle situada frente al estadio municipal.