En 1943, durante la Segunda Guerra Mundial, se convirtió en una prisión nazi para franceses vip.La fortaleza en el sitio se mencionó por primera vez en una escritura de 1241;[2] Las construcciones anteriores pueden haber existido desde el siglo X.El Brixental perteneció a Salzburgo hasta que cayó al recién establecido Reino de Baviera en 1805; el gobierno bávaro dejó las ruinas del castillo a los ciudadanos de Itter, que lo utilizaron como cantera.El edificio actual se levantó sobre los cimientos del anterior a partir de 1878.El mismo Liszt y el joven Arthur Rubinstein se quedaron en el castillo; Pyotr Ilyich Tchaikovsky orquestó una de sus composiciones durante una visita en 1892.Sin embargo, el hotel enfrentó problemas financieros y fue adquirido por un holding antes de ser vendido a un propietario privado en 1985.