Nació en Apolda, Turingia y realizó estudios universitarios en Leipzig, Berlín y Basilea, con el historiador de arte Ernst Heidrich, terminando su tesis en 1920 en Múnich que trataba sobre las pinturas holandesas del siglo XVII.

También estuvo trabajando para radio Múnich y la revista Neue Zeitung lo que le permitió conocer a artistas como George Grosz, Kurt Schwitters, Willi Baumeister y Max Ernst.

En 1925 publicó su libro Nach Expressionismus: Magischer Realismus: Probleme der neusten europäischen Malerei (Postexpresionismo: los problemas de la nueva pintura europea) que tuvo bastante repercusión en los ambientes artísticos al inventar el término del realismo mágico.

Esta relación se acentúa por el hecho de que fue el fenomenólogo español José Ortega y Gasset quien tradujo el ensayo de Roh al español,[1]​ estableciendo así las bases para su apropiación por parte del movimiento literario.

En 1952 fundó Artothek en Berlín, lo que permitió recopilar el trabajo de artistas alemanes y en 1958 publicó una historia del arte en Alemania.