Estudió ingeniería eléctrica antes de servir en el ejército imperial alemán durante la Primera Guerra Mundial.

Después de su migración a los Estados Unidos en 1924, floreció su carrera como actor.

Tras la llegada del cine sonoro, Ruman se convirtió en un favorito de los Hermanos Marx: aparece en Una noche en la ópera (1935), Un día en las carreras (1937) y Una noche en Casablanca (1946).

Su acento alemán y su gran estatura lo mantuvieron ocupado durante la Segunda Guerra Mundial interpretando siniestros personajes nazis.

Según el comentario de Leonard Maltin que acompaña a una edición en DVD de Una noche en la Opera, Ruman había modificado su nombre para que no sonara tan alemán.