En él se refugiaron varios daimyō durante el Período Muromachi de la historia de Japón, y de 1495 en adelante, fue dominado por cinco generaciones del clan Hōjō tardío.
Era una fuerte posición defensiva, pues estaba situado sobre una colina, rodeado por fosos llenos de agua, murallas y acantilados, entre otros obstáculos.
El castillo permitió a sus defensores repeler los ataques de Uesugi Kenshin y Takeda Shingen, pero fue finalmente tomado en 1590 por Toyotomi Hideyoshi.
Hideyoshi le entregó las propiedades del clan Hōjō a Tokugawa Ieyasu, quien a su vez instaló al clan Okubo en el castillo.
Está adaptado como un museo y fue diseñado como un importante monumento histórico