La región fue posteriormente disputada entre el clan Sanada y el Odawara Hōjō.
En 1589, Toyotomi Hideyoshi intentó arbitrar la disputa dando Numata al clan Hōjō y otorgando el cercano castillo Nagurumi al Sanada.
Los Toki vivían en una residencia construida dentro del tercer recinto, pero lo que debería ser un castillo era en realidad poco más que un centro administrativo amurallado (jin'ya).
En 1912, un antiguo samurai al servicio del clan Toki, Kume Tamenosuke, adquirió los terrenos del castillo, y lo donó a la ciudad de Numata en 1926 para que se usara como parque.
El parque actual contiene la Casa Ubukata, un edificio del periodo Edo que había sido usado como farmacia en la ciudad aneja del castillo de Numata.