El castillo de Karasuyama fue construido originalmente por Nasu Sukeshige el año 1418, y constituyó la residencia principal del clan Nasu desde 1514 hasta el final del periodo Sengoku.
El castillo de Karasuyama estaba construido sobre la colina Hakkōzan (206 m).
Sin embargo, en 1590, en parte como castigo por no haberle apoyado en la batalla de Odawara, Toyotomi Hideyoshi abolió el clan Nasu, dividió sus posesiones y cedió temporalmente su castillo ancestral a Oda Nobukatsu, uno de los hijos supervivientes de Oda Nobunaga.
Cuando el nuevo gobierno Meiji ordenó la devolución de las propiedades feudales al emperador (版籍奉還 Hansekihōkan) el castillo fue abandonado (1869).
En 1872 el palacio del san-no-maru se hundió debido al peso de la nieve acumulada en una gran nevada y, en 1873, un incendio accidental destruyó el resto de las estructuras.