Dörr nació en 1831, fue criado por su padre, Konrad Dörr, hijo de un copero de la corte, y creció con seis hermanos.
Entre los años de 1850 a 1852, Dörr estudió en la Real Academia Prusiana de las Artes junto a Carl Steffeck y Franz Krüger en Berlín.
Entre 1852 y 1856, Dörr se quedó en París, allí fue alumno de Alexandre-Gabriel Decamps.
El 4 de diciembre de 1861 se casó con Bertha Staudinger y con ella tuvo tres hijos.
En 1867 se quedó con su colega, el pintor Julius Scholtz en París durante unos meses y fue al estudio de Léon Bonnat.