La primera mención escrita del lugar (Neuhaus) data de 1036.

El príncipe-obispo Henrich von Spiegel zum Desenberg transfirió su residencia oficial allí, debido a las dificultades con los burgueses de la ciudad.

Finalmente en 1590, Dietrich von Fürstenberg amplió el conjunto con los cuatro lados actuales.

Bajo el reinado de Clemente-Augusto se acondicionó un jardin à la française.

Los británicos abandonaron el castillo en 1964 y lo dejaron como una marca simbólica de la ciudad.