En 1587, el VII duque, Alonso Pérez de Guzmán el Bueno, añadió a la mencionada torre un pequeño baluarte, aunque, probablemente debido a sus pequeñas dimensiones, más tarde, en 1634, el VIII duque, Manuel Alonso Pérez de Guzmán el Bueno, comenzó la construcción del castillo más al borde de la barranca.

La fortaleza, llamada del Espíritu Santo debido a la antigua ermita del mismo nombre que se encontraba en las inmediaciones, estaba custodiada por un capitán, seis artilleros y ocho soldados.

[1]​ El Castillo del Espíritu Santo fue renovado en el año 1770 durante el reinado de Carlos III.

Según observó José Amador de los Ríos en 1850, el castillo estaba "colocado en un pequeño promontorio que se entra en el mar, presentando un aspecto formidable y siendo verdaderamente la llave del Guadalquivir."

[2]​ Sin embargo, fue tomado por las tropas francesas en 1810 y tras la expulsión de estas el gobierno inglés reclamó su demolición, la cual se terminó efectuando el 8 de febrero de 1813.