El primer castillo ubicado en este emplazamiento data del periodo Muromachi temprano, cuando la región estaba bajo el control del clan Tendō, pero el clan Tendō fue derrotado por Date Tanemune y perdió el castillo, recuperándolo cuando murió Tanemune.
se hizo con la zona y planeó la edificación de un castillo, cuya construcción inició en 1535.
[2] El castillo de Kaminoyama estaba situado estratégicamente en el extremo meridional de los territorios controlados por el clan Mogami y podía desempeñar tanto funciones defensivas como ofensivas frente a los clanes vecinos Date y Uesugi.
En los años por venir esta circunstancia haría que el área fue disputada entre los clanes Mogami y Date, y haría que el castillo cambiara de manos muchas veces.
En 1872, los terrenos del castillo fueron vendidos al gobierno y se convirtieron en un parque.