Teniendo en cuenta la importancia del castillo para Moravia, los Estados Moravos lo compraron en el año 1560 e inmediatamente lo revendieron a la ciudad de Brno.Los protestantes fueron los primeros prisioneros obligados a permanecer aquí, seguidos años más tarde por participantes en las revoluciones de 1848-1849; sin embargo criminales, ladrones y pequeños delincuentes también estuvieron encerrados en la fortaleza.Otro grupo notorio de prisioneros fueron quince jacobinos húngaros liderados por el escritor Ferenc Kazinczy.Tras eso, el emperador austríaco Francisco José I suprimió la cárcel en 1855, y tras la liberación de los últimos prisioneros tres años después, el complejo fue convertido en barracones militares.El ejército checoslovaco dejó Špilberk en 1959, poniendo punto final a su periodo militar.
