Estudió teología protestante, filosofía y lenguas orientales en Halle y Gotinga, donde obtuvo su doctorado en 1881.
Su carrera profesional se profundizó en Gotinga, en donde fue un Inspector (desde 1888), Profesor privado (desde 1891), Extraordinario (desde 1914), y profesor del Antiguo Testamento (desde 1919).
Se retiró en 1933 y falleció en Gotinga.
Junto con Rudolf Smend y otros, Rahlfs fue responsable de la creación de la Septuaginta-Unternehmen de la Göttinger und Berliner Akademien der Wissenschaften (Academias de Ciencias Gotinga y Berlín) en 1907, la cual dirigió entre 1908 y 1933.
La difícil situación económica durante los años de alta inflación en Alemania fue, sin lugar a dudas, parcialmente responsable de que Rahlfs únicamente editara -aparte de su edición manual preliminar de la Septuaginta, aparecida el año en que murió- un volumen crítico (Psalmi cum Odis, Salmos con Odas) y dos volúmenes delgados sobre el Libro de Rut y el Génesis.