El clan Satomi fue destruido por Tokugawa en 1614, pero los Honda continuaron gobernando como daimios del Dominio de Ōtaki (100.000 koku) durante las siguientes tres generaciones.
[1] Para cuando Abe Masaharu se hizo cargo del territorio en 1671, un informe detallaba que no había ni una sola puerta funcional y que la torre del homenaje estaba en ruinas.
Existen muy pocas fuentes históricas de la época pero, aparentemente, el castillo fue ampliado.
La torre del homenaje reconstruida ardió el año 1842 y no se volvió a reparar.
Como no se conservan registros del aspecto de la torre original, la actual es una imitación hecha sobre la base de unos bocetos del año 1832, en los que aparece su última descripción conocida.