El castillo fue construido a finales del siglo XIII y su primer propietario/dueño (en los años 1317-1339) fue conocido como Búz de Búzov.

Esta familia poseyó el castillo aproximadamente 70 años y después fue cambiando de propietarios durante mucho tiempo.

En 1649, el castillo fue comprado por Eugenie Podstatská de Prusinovice, su hijo lo vendió en 1696 a los Caballeros Teutónicos.

En 2004, en el castillo fue rodada una película alemana que se llama Napola, también es un lugar muy popular para la grabación de cuentos de hadas como por ejemplo: O princezně Jasněnce a létajícím ševci (Sobre la princesa Jasněnka y el zapatero volante), La princesa Fantaghiro (una película italiana) o Arabela - una serie checa muy popular.

Durante la Segunda Guerra Mundial el comandante en jefe (Reichsführer) de las SS Heinrich Himmler sucumbió a los encantos del castillo Bouzov.