Según la leyenda de O-shizu, Hitobashira, el castillo fue construido con un pilar humano.O-shizu, una mujer tuerta que tenía dos hijos y era pobre, fue seleccionada como la hitobashira.Katsutoyo no cumplió su promesa tras mudarse de provincia y la narración explica que O-shizu quedó como un espíritu resentido.Sin embargo, en ese momento, las técnicas para construir bases tan empinadas no estaban desarrolladas, especialmente cuando se empleaban piedras en bruto sin cortar.Sin embargo, su bisnieto, Honda Shigemasu era alcohólico e incompetente, y fue desposeído por el shogunato en 1695.El edificio presenta tres pisos, y el más alto sirve como torre de vigilancia.
