Le château a été construit pour le commerce du bois et de l’or, plus tard il a été utilisé dans le commerce transatlantique des esclaves. Le château, ou Castle and Dungeon, pour lui donner son nom officiel, a été restauré dans les années 1920 par le ministère britannique des Travaux publics. En 1957, lorsque le Ghana devint indépendant, il passa sous la tutelle du Conseil des musées et des monuments du Ghana (GMMB). Au début des années 1990, le gouvernement ghanéen restaura le bâtiment avec des fonds du Programme des Nations Unies pour le développement.