Debido a su ubicación, el castillo y la ciudad que lo rodeaba sufrieron inundaciones ocasionales.

Las estructuras del palacio estaban ubicadas junto a las fortificaciones principales en el recinto de Hana-no-Maru.

El primer castillo en este sitio fue construido en 1560 por Yamamoto Kansuke bajo la dirección de Takeda Shingen.

[2]​ Después de la caída del clan Takeda, Oda Nobunaga finalmente tomó el control.

Cerca de la edificación se encuentran varias residencias antiguas de samuráis del período Edo, la antigua escuela Han y un museo dedicado al clan Sanada.