Fue levantado en 1645 sobre los planos del Ingeniero Mayor de la Real Armada Española, Constantino Vasconcelos, que lo ubicó estratégicamente para defender la poza de abrigo del puerto, siendo uno de los más importantes de la bahía.
En 1764 el ingeniero irlandés Juan Garland reconstruyó, en piedra cancagua y mampostería en ladrillo, la fortificación.
El Castillo se componía de tres sectores: El castillo propiamente tal (1765), la Batería de la Argolla (1764) y la Batería de la Cortína (1767).
El castillo, con sus 21 cañones, era el más poderoso de la bahía después del castillo San Pedro de Alcántara en Mancera, en el cual estaba el alto mando militar español que comandaba la bahía.
En 1930 se atravesó su base con un túnel para el paso del ferrocarril.