Probablemente es más conocido en la cultura popular por haber interpretado al arquetipo de científico loco, Rotwang, en Metrópolis.

Empezó a tomar clases de actuación mientras estudiaba historia del arte en Berlín y Bonn.

Hizo su debut como actor en la obra Julio César en Halberstadt, actuando como Cayo Casio Longino.

También interpretó papeles en dos películas dirigidas por von Harbou: Elisabeth und der Narr y La asunción de Hannele.

Klein-Rogge estuvo casado tres veces, siendo la primera con Margarethe Neff, la segunda con Thea von Harbou y la tercera con la actriz sueca Mary Johnson.