Arnsberg consta de 15 distritos: A fines del siglo XI, el conde Federico el Belicoso (en alemán Friedrich der Streitbare) construyó un castillo en el cerro "Adlerberg", mencionado por primera vez en 1102.

El crecimiento relativamente rápido de la ciudad hizo necesaria la primera ampliación a partir del siglo XIII.

Durante su gobierno, a fines del siglo XVI transformaron el antiguo castillo medieval en una residencia representativa, que fue destruida en 1762 durante la guerra de los Siete Años, permaneciendo como ruina desde entonces.

Con el estilo del arquitecto berlinense Schinkel se construyeron barrios totalmente nuevos que unieron la ciudad antigua con el, hasta entonces, aislado monasterio de Wedighausen.

Además, por primera vez la ciudad se expandía hasta la orilla este del río Ruhr.