Los muros estuvieron parcialmente ocultos, semienterrados por la arena hasta 1990, pero fueron liberados por diversas obras desde esa fecha.

Debido a sus reducidas dimensiones, tan solo cabrían cuatro piezas de artillería, por lo cual resultó insuficiente para las funciones a las que estaba destinado, suponiendo esto motivo de su temprano abandono.

Fue construido en tiempos del VIII duque de Medina Sidonia, Manuel Alonso Pérez de Guzmán el Bueno, con diseño del arquitecto Jusseppe Gómez de Mendoza, maestro mayor de las fortificaciones de Cádiz, y estaba custodiado por un capitán —probablemente el capitán Francisco Corbalán— con un teniente, diez soldados y ocho artilleros a sus órdenes.

Desde principios del Siglo XX se le empezó a conocer popularmente en Sanlúcar con el nombre de El Castillo de la Pantista, por ser ocupado para su residencia habitual , por una mujer anciana y su familia.

Esta anciana iba ataviada con pañuelo y ropajes negros ; una apariencia que espantaba o causaba espanto , a los que paseaban por esta zona , de ahí el apodo.