Un año después, publicó su primera historia, en la revista Die Freie Straße ("La calle libre").

Por la misma época, también conoció a la mujer que más tarde se convertiría en su segunda esposa, Mirjam Sachs, hermana de Manfred George y prima de Nelly Sachs.

En 1920 trabajó como dramaturgo en el teatro obrero Die neue Bühne ("La nueva etapa"), hasta que alcanzó la fama literaria en 1927 con sus memorias Wir sind Gefangene ("Somos prisioneros"), que le permitieron ganarse la vida como escritor independiente.

En respuesta, Graf publicó un manifiesto que posteriormente se hizo famoso, Verbrennt mich!

Graf dejó Brno para participar en el Primer Congreso de Escritores Socialistas en Moscú.

[2]​ En 1958, Graf se convirtió en ciudadano estadounidense y visitó Europa por primera vez desde la Segunda Guerra Mundial.

En 1962, fue honrado por la ciudad de Múnich "en reconocimiento a sus importantes obras literarias".