Originalmente el castillo constaba de una sola torre del homenaje, que todavía está intacta.

La capilla junto a ella se construyó después del año 1117.

En 1467, el castillo fue vendido al Archiduque Segismundo de Austria,[2]​ que reconstruyó el castillo y lo llamó Sigismundruh para la duración de su reinado.

[2]​ (No debe confundirse con la Iglesia de Todos los Santos, Wittenberg, que también se conoce como Schlosskirche).

Después de pasar a otros propietarios en 1812, el castillo se convirtió en Freundsberg, una propiedad del municipio de Schwaz.