Tras el ataque del pirata inglés Robert Searle en 1667, se decidió edificar un castillo de piedra para proteger la ciudad.

El Castillo es una fortificación en estrella construida con coquina, una variedad de piedra caliza.

El general James Oglethorpe puso sitio de nuevo al castillo y bloqueó la desembocadura del Río Matanzas, confiando en poder rendirlo con un bombardeo continuo.

Sin embargo, un pequeño navío español pudo evadir el bloqueo y dar aviso a La Habana, desde donde se enviaron suministros.

A los 38 días los ingleses terminaron el asedio sin haber conseguido rendir el castillo.

Para ello se mandó construir el Fuerte Matanzas (en inglés: Fort Matanzas National Monument), con lo que se previno futuras incursiones por tierra contra el fuerte de San Marcos.

En este periodo el castillo no protagonizó ningún hecho de armas.

La artillería fue desmontada y enviada a otros lugares, dejando el castillo indefenso.