El mayor de los hermanos, Ernst, falleció a los dieciocho años, en el mismo día en que lo hacía el menor, Martti.En el otoño de 1920 Rinne se pasó al Teatro Kansan Näyttämö, centrado en la opereta y la comedia.Actuó en obras como Seitsemän veljestä, Pohjalla y Edmund Kean, celebrando con la última diez años como actor.Poco después viajó a Berlín y París con Uuno Laakson, aprendiendo sobre la vida teatral local.En los años 1930 Rinne siguió actuando para la pantalla, aunque de manera intermitente, pues siempre consideró prioritaria su actividad teatral.En 1931 rodó Rovastin häämatkat, y al siguiente año Olenko minä tullut haaremiin, con el primer papel protagonista de Birgit Kronström.La película dirigida por Risto Orko en 1936 VMV 6 supuso un gran éxito para Rinne y el despegue real de su trayectoria en el cine.El sargento Rinne fue destinado a las fuerzas de entretenimiento, viajando en giras con Einari Ketola, Eino Katajavuori, Viljo Vesterinen y Unto Salminen.Los cinco llegaron incluso a actuar para el Presidente Pehr Evind Svinhufvud y los generales que le acompañaban.Otro film adaptación de Penttilä fue Kolmastoista koputus, en la cual Rinne trabajaba junto a Tauno Palo.Según Kassila, solamente había tres actores idóneos para encarnar a Palmu: Aku Korhonen, Tauno Palo y Joel Rinne.Palo había interpretado muchos personajes románticos que no le ayudarían a hacer un Palmu creíble.En 1962 se rodó una tercera película, Tähdet kertovat, komisario Palmu, que la valió a Rinne un Premio Jussi al mejor actor.En 1966, en Päämajassa, Rinne encarnó a Carl Gustaf Emil Mannerheim, papel elogiado por la crítica y que fue un éxito de público.Con Rikberg se casó en 1936, permaneciendo juntos hasta la muerte de Rinne, ocurrida en Helsinki en el año 1981.