Su primer contrato como actor lo obtuvo en el Neue Wiener Bühne de 1925 a 1930, interpretando un repertorio clásico, con obras como Hamlet.
Con su interpretación de Franz Schubert en el film biográfico de Willi Forst Leise flehen meine Lieder, Jaray consiguió la fama en Austria y Alemania.
En 1948 publicó una novela, en inglés en Estados Unidos y más tarde en alemán para Alemania, que se titulaba One Day Missing/Es fehlt eine Seite.
Además de actuar en piezas del género llamado teatro de boulevard, Jaray fue actor cinematográfico, y también dio clases, entre 1954 y 1964, en el Seminario Max Reinhardt, que dirigió brevemente en 1960.
Tras su fallecimiento se editaron sus memorias, que llevaban el título de Was ich kaum erträumen konnte.