El cementerio se estableció en 1748 para proporcionar cementerios a los veteranos heridos en la Guerra de Sucesión de Austria, que habitaban un albergue cercano (Invalidenhaus) construido por orden del rey Federico II el Grande.
Numerosos comandantes y oficiales que lucharon en la Primera Guerra Mundial, como Max Hoffmann, Helmuth von Moltke y Ludwig von Falkenhausen, fueron enterrados en el cementerio, junto con varios miembros de alto rango de los Freikorps.
El cuerpo de Manfred von Richthofen (conocido como el 'Barón Rojo') fue trasladado al cementerio en 1925 desde su tumba original en Francia.
Se encuentra un monumento a los berlineses asesinados al intentar cruzar el Muro de Berlín en el cementerio.
El cementerio también contiene una fosa común no identificada de berlineses muertos en ataques aéreos aliados.