Este castillo es, por sus características, único en toda España; su construcción es, probablemente, anterior al siglo XIII, aunque existen muchas dudas sobre la fecha de su edificación y sobre el porqué de su levantamiento.

Se desconocen sus orígenes y el motivo por el cual fue realizado; las primeras referencias documentadas datan del año 1268.

Las primeras referencias históricas documentadas, publicadas por el historiador Leopoldo Torres Balbás, aluden a un privilegio dado por el rey castellano Alfonso X el Sabio, en el año 1268, y en el que figura un Logar de la Puente.

Estas referencias señalan que la construcción del ribat isleño data del periodo de dominación almohade (siglo XII), o incluso durante el califato de Córdoba, para hacer frente a los ataques normandos (siglo IX).

Cuando en el año 1264 el rey Alfonso X incorpora las tierras gaditanas a Castilla y se inicia el proceso de colonización cristiana, comienza la cristianización del ribat.

El castillo fue uno de los elementos más importantes en la defensa durante el asalto inglés del conde de Essex a Cádiz en 1596, defendiendo el paso del Puente Zuazo frente a fuerzas anglo-holandesas muy superiores.

Con los avances en pirobalística y las nuevas estrategias militares, el castillo irá perdiendo su importancia como enclave militar a lo largo del siglo XVIII.

Es en esta época, pasado el año 1800, cuando adquiere su actual nombre de San Romualdo.

[3]​ En el interior del recinto se realizaron sondeos en el patio de armas y en las estancias internas.

Las paredes interiores son considerablemente rígidas, ya que alcanzan el metro de grosor.

Este reloj está enfrentado al Sur aunque con una desviación de 15.º hacia el Oeste.

[9]​ Los dos cuadrantes solares restantes se sitúan en los paramentos laterales de dicha torre.

Se conservan restos de dibujos a carboncillo y grabados incisos en el enlucido del tapial.

Destaca la representación esquemática de un alzado en el que se pueden apreciar torres y muros almenados.

Sólo se advierte un estrato, con un grosor de 0,5-0,8 cm., rico en cal y textura fina, por el trabajo final con la plana.

Estas intervenciones están realizadas de forma grosera y contrastan con la correcta ejecución primigenia.