Es particularmente famoso por su cuarto para la ceremonia del té, donde tanto las paredes como los implementos estaban recubiertos con hojas de oro.
El castillo también debía servir como un lugar donde Hideyoshi pudiera tener conversaciones pacíficas con los diplomáticos chinos que intentaban que terminaran las invasiones a Corea de Hideyoshi, pero un terremoto destruyó completamente el castillo a los dos años de que hubiera sido concluido.
En 1600, el castillo cayó en el famoso Asedio de Fushimi por Ishida Mitsunari.
Torii Mototada en un acto de valentía defendió el castillo por once días, demorando a las fuerzas de Ishida y permitiendo que su señor Tokugawa tuviera el tiempo necesario para juntar su propio ejército, lo cual tuvo un profundo efecto en la Batalla de Sekigahara, el cual marcó la victoria final de Tokugawa sobre sus rivales.
El castillo no fue remodelado hasta 1964, cuando se construyó una réplica principalmente de hormigón.