El castillo de Gifu fue construido por el clan Nikaidō entre 1201 y 1204 durante el Período Kamakura.
Se sabe que una vez un hombre llamado Takenaka Hanbei fue al castillo para visitar a su hermano enfermo, Saitō Tatsuoki aunque sus verdaderos motivos no era visitarlo, sino matarlo.
Cuando Nobunaga Oda atacó el castillo Inabayama, los hombres de Tatsuoki recordaron este evento y huyeron también.
Nobunaga tomó para sí el castillo y lo convirtió en su principal base de operaciones.
Luís Fróis, un renombrado misionario jesuita de Portugal, fue invitado personalmente por Nobunaga a que visitara el castillo.