Walter Rehberg pertenecía a una línea de notables pianistas.

Walter estudió con su padre en el Conservatorio Hoch, en Fráncfort, y en la Escuela Universitaria de Música de Mannheim.

Más tarde recibió la matrícula de Eugen d'Albert.

En Fráncfort ejerció como profesor de música durante un cierto tiempo, teniendo entre otros alumnos a Walter Frey.

Durante los años 1920 y 1930 realizó grabaciones para discos de Polydor/Brunswick y en los años cuarenta grabó para Decca.