En 1166 el castillo fue adquirido por el Obispado Principesco de Bamberg y cedido a una familia de funcionarios ministeriales, quienes pasaron a llamarse como el castillo.

Cuando se extinguió esa línea dinástica a comienzos del siglo XIV, el castillo fue heredado por Nikolaus I, otro ministerial de Carintia de las cercanías del Castillo de Nussberg, cuyos descendientes también se llamaron von Dietrichstein.

A fines del siglo XV, la fortaleza cobró una importancia estratégica en las rutas comerciales que atravesaban el valle del Glan hasta Sankt Veit, por lo que fue ocupada por las fuerzas húngaras del rey Matías Corvino, siendo destruida finalmente por los invasores durante las guerras otomanas en 1483.

Se erigió un nuevo palacio sobre las ruinas del castillo hacia 1500 y reconstruido en un estilo neoclásico en 1840.

La línea dinástica se extinguió al morir Mauricio José de Dietrichstein en 1864.