Fue uno de los seis hijos del pintor Fritz Rumpf (1856-1927) (el mayor) y su esposa Margarete Rumpf, de soltera Gatterer, que eran amigos de numerosos artistas, entre ellos el pintor Lovis Corinth.
Los seis hermanos, como la hija mayor Gertraut, el hijo mayor Fritz Rumpf (el más joven) (1888-1949) y el segundo hijo mayor Karl-Heinrich (1889-1914), teniente de artillería, cayeron en Lotz en 1914.
El hijo menor Andreas se introdujo en el arte a una edad temprana.
Andreas Rumpf estudió arqueología clásica en Leipzig bajo la dirección de Franz Studniczka y se doctoró allí en 1915 con una tesis Die Wandmalereien in Veji.
Logró su habilitación en el mismo lugar en 1923 con una tesis sobre los vasos calcideos, un grupo especial de cerámica de figuras negras.