Tras abdicar los caballeros en el siglo XVI, la fortaleza cambió de manos en diversas ocasiones.
El deterioro de la fortaleza continuó hasta que finalmente quedó en ruinas a inicios del siglo XIX.
En 1829 el príncipe Maximiliano (futuro rey Maximiliano II de Baviera) conoció el histórico lugar y se entusiasmó por la belleza del entorno.
El rey Maximiliano murió en 1864 y su hijo Luis le sucedió en el trono, trasladándose a la estancia que su padre tenía en el castillo.
Como Luis nunca se casó, su madre continuó viviendo en la misma planta.