[1]​ En los mismos terrenos del castillo el clan Tsuchimochi fundó una fortaleza durante el período Nanbokucho, pero no sería hasta mediados del siglo XV que adquiriría relevancia, cuando los Shimazu fortificaron el complejo para frenar la expansión del clan Itō.

Esta zona se convirtió en un punto focal del conflicto entre ambas familiar, y los Itō lograron vencer en 1567.

El clan Itō continuó gobernando en Obi hasta el período Meiji.

[3]​ En los terrenos también se puede encontrar la casa Yoshokan, que resguarda un jardín japonés.

[4]​ La ciudad que se formó alrededor de la fortaleza conserva la atmósfera del período Edo y es una atracción turística a menudo referida como «pequeña Kioto».