En 1943, durante la Segunda Guerra Mundial, se convirtió en una prisión nazi para franceses vip.

La fortaleza en el sitio se mencionó por primera vez en una escritura de 1241;[2]​ Las construcciones anteriores pueden haber existido desde el siglo X.

El Brixental perteneció a Salzburgo hasta que cayó al recién establecido Reino de Baviera en 1805; el gobierno bávaro dejó las ruinas del castillo a los ciudadanos de Itter, que lo utilizaron como cantera.

El edificio actual se levantó sobre los cimientos del anterior a partir de 1878.

El mismo Liszt y el joven Arthur Rubinstein se quedaron en el castillo; Pyotr Ilyich Tchaikovsky orquestó una de sus composiciones durante una visita en 1892.

Sin embargo, el hotel enfrentó problemas financieros y fue adquirido por un holding antes de ser vendido a un propietario privado en 1985.