[2]​ Sagara Nagayori fundó el castillo original en 1198 tras derrotar a los Yase, vasallos de la familia Taira; desde entonces, su clan gobernó Hitoyoshi durante treinta y cinco generaciones.

En 1589, Sagara Nagatsune inició una renovación a gran escala: los patios y las estructuras principales se completaron finalmente en 1601, y los muros de piedra en el año 1644.

En 1802 y en 1862 los edificios sufrieron de un incendio, pero en ambas ocasiones se reconstruyeron todas las estructuras.

El complejo quedó desmantelado en 1872, del cual solo restan los muros de piedra originales.

Durante la celebración se llevan a cabo exhibiciones de yabusame (tiro con arco a caballo), tiro desde barcas en movimiento y una ceremonia del té al aire libre.