Brandi fue el hijo del maestro de Meppen Hermann Brandi, que se trasladó con su familia en 1869 a Papenburg y en 1872 a Osnabrück.
En 1890 recibió su doctorado en Estrasburgo con una tesis sobre los documentos de Reichenau.
Brandi enseñó tanto allí como en los Archivos de la escuela.
Brandi también escribió obras importantes sobre la historia del Renacimiento italiano.
En España se hizo muy conocido a través de la polémica sobre la idea imperial de Carlos V. Karl Brandi hijo (Brandi Díez) (1901-1985) fue un conocido arquitecto.