En 1664 el castillo fue conquistado por los británicos siendo extensivamente reconstruido por el Committee of Merchants (cuyo gobernador administraba la colonia británica al completo) durante los últimos años del siglo XVIII.
En 1844 se convierte en la sede del gobierno colonial británico en la Costa de Oro.
El castillo fue construido para el comercio de oro y madera pero después se utilizó para el comercio transatlántico de esclavos.
El castillo fue restaurado en los años 1920 por el Departamento de Obras Públicas Británico.
En 1957, cuando Ghana alcanzó su independencia, el castillo pasó al cuidado del Ghana Museums and Monuments Board (GMMB).