Cuando se decidió por la actuación, viajó a Berlín, donde tomó lecciones de Ferdinand Gregori.
En la temporada 1948/49 actuó por vez primera en la obra Fausto (primera parte), en una producción de Alfred Roller, participando posteriormente en la segunda parte de la misma obra, interpretando al personaje principal.
En sus últimos años, Just fue, junto a Hans Mahnke, el actor veterano principal del Staatstheater.
En 1960, fue el director Gatzka en el 5º episodio de la serie Am grünen Strand der Spree, basada en la novela de Hans Scholz, actuando junto a Helen Vita.
Había estado casado con la actriz Charlotte Schreiber-Just (1914–2000), que fue enterrada junto a él.