El término "pardo" hacía referencia al color de los uniformes del partido.
[1] El edificio original fue el Palacio Barlow, de estilo clásico, construido en 1828 por el arquitecto Jean Baptiste Métivier.
En abril de ese año, Elizabeth Stefanie Barlow (viuda de William Barlow, un industrial inglés) acordó vender el palacio al tesorero del Partido nazi, Franz Xaver Schwarz.
Los fondos para la renovación de la sede del partido fueron proporcionados por el industrial Fritz Thyssen.
El historiador británico Ian Kershaw lo ha descrito como un edificio "pomposo y de mal gusto".