Fue construido entre 1606 y 1636, y junto con el Castillo de San Antón formaban parte del complejo defensivo de la ciudad.
Inicialmente se le llamó Castillo de San Gaspar, aunque a partir de 1644 ya se conocería como Castillo de San Diego.
[1] Según la descripción del cronista José Cornide, se trataba de una construcción poligonal adaptada al saliente rocoso en el que se asentaba, con dos plataformas de artillería y distintas dependencias agrupadas en el centro; en las que se encontraban los cuerpos de guardia, el almacén, la capilla, el polvorín y el cuartel.
Este fuerte abaluartado contaba con una dotación artillera de 30 cañones.
Como barrera defensiva adicional, entre el Castillo San Diego y el Castillo de San Antón se tendía una cadena que bloqueaba el acceso al puerto de la ciudad.