La propiedad abacial secularizada fue reconocida por el príncipe elector de Brandeburgo Federico Guillermo I en 1687 como su propietario.
Durante las siguientes seis décadas, Enrique Ernesto y su hijo Ernesto gobernaron el condado desde la "Casa Condal de Stolberg en Ilsenburg" (Gräflich Stolbergischen Hause Ilsenburg), tal como la familia llamaba a la pequeña propiedad en aquel tiempo.
Los claustros fueron utilizados para diferentes propósitos en las siguientes décadas y los funcionarios condales se instalaron en los edificios colindantes.
Entre 1861 y 1863 el Conde Otón de Stolberg-Wernigerode amplió los edificios a orillas del río Ilse como residencia para su tío, Botho.
La ampliación fue emprendida por Karl Frühling, a quien el Conde Otón había confiado la conversión de su castillo en Wernigerode.