Autor de cuentos, ensayos, traducciones y poesía lírica, fue uno de los autores más conocidos en la antigua República Democrática Alemana.
Hijo de judíos inmigrantes, nació en lo que hoy es el estado federado de Sajonia, y creció tanto en Chemnitz como en Berlín.
Después vivió en Palestina, Francia y Suiza hasta su regreso a Alemania en 1945, tras el final de la Segunda Guerra Mundial.
Allí comenzó trabajando en una emisora en Fráncfort del Meno aunque posteriormente, en 1947, se trasladó a Berlín Este, donde fue colaborador de varias revistas como Täglichen Rundschau (diario de las fuerzas soviéticas en Berlín Este), Ulenspiegel, Aufbau y Sinn und Form.
A pesar de esas posiciones críticas, Hermlim mantuvo su vinculación con el régimen.