Este castillo es el más cercano a Tokio accesible para los visitantes, dado que gran parte del castillo Edo no se puede visitar por ser el Palacio Imperial.

Hōjō Ujitsuna lo asedió en la década de los 1520’s e hizo lo mismo en el castillo Edo en 1524.

Casi dos décadas después, el clan Uesugi lanzó una campaña para recuperar la región; durante la Batalla de Kawagoe de 1545, los Hōjō vencieron el intento de asedio del castillo, lo que conllevaría al fin del poder del clan Uesugi en la región y casi su destrucción total.

Habiendo asegurado los Hōjō la región, Kawagoe sirvió durante otros 45 años como una fortaleza satélite para defender Edo así como el castillo central del clan: el castillo Odawara.

Al día de hoy tan sólo un montículo donde se encontraba una yagura y el honmaru permanecen en su sitio original.