Trabajó para una empresa química, Meister Lucius und Brüning (luego Hoechst AG, desde 2004 fusionada en Sanofi-Aventis), donde supervisó la producción de fucsina.
Luego, regresó a la universidad y en 1862 recibió el doctorado bajo la dirección de Robert Wilhelm Bunsen, en Heidelberg.
Conjuntamente, Heinrich Caro y Carl Graebe consiguieron por primera vez en 1870 aislar la acridina a partir del alquitrán de hulla.
Graebe introdujo además, la clasificación en "orto", "meta" y "para" en la nomenclatura de los anillos del benceno.
Entre sus obras puede citarse la Historia de la Química Orgánica, publicada en 1920.