Situado a unos 20 kilómetros río arriba de la ciudad capital de Sierra Leona, Freetown, Bunce se encuentra en el Río Sierra Leona, también llamado el "Puerto de Freetown" (Freetown Harbour), el gran estuario que forma el río Rokel y el Puerto Loko Creek.
Debido a su importancia como un puesto comercial británico, la isla era un objetivo atractivo en tiempos de guerra.
Fuerzas navales francesas atacaron el castillo en cuatro ocasiones (en 1695, 1704, 1779 y 1794), dañándolo o destruyéndolo cada vez.
Los piratas también atacaron el castillo en dos ocasiones (en 1719 y 1720), incluyendo a Bartholomew Roberts, o "Negro Bart", los británicos reconstruyeron el lugar después de cada ataque.
En 1948 la isla Bunce se convirtió en el primer sitio histórico protegido oficial en Sierra Leona.