[1] Según la tradición clásica, en este islote se encontraba el Templo de Moloch/Kronos.Fue alojado en la fortaleza hasta 1815 año en el cual ante la sospecha de una fuga fue trasladado a la prisión militar de Ceuta.[4][5] La original silueta de este castillo sobre el mar lo ha convertido en escenario de varias películas rodadas en Cádiz, entre ellas la más cara del cine español, Alatriste, rodada aquí en 2005.Igualmente, Hollywood lo utilizó como escenario para escenas de acción de la película Die Another Day del agente James Bond, protagonizada por Pierce Brosnan y Halle Berry.El grupo indie pop español Señor Chinarro menciona el castillo de San Sebastián en la canción "Del Montón": Cerca fue del Castillo / el de San Sebastián / de las barcas que amarran / a la orilla del mar...