En sus 300 años de historia ha sido arruinado y reconstruido al menos cuatro veces.
El conde del Valle de Salazar se ofreció a mantenerlo a su costa en caso de que se edificara.
Este ofrecimiento fue aceptado pero por motivos de otras guerras no se llevó a cabo su construcción, hasta que más tarde el 20 de junio de 1701, Miguel Tiburcio Rossel y Lugo decía: Los historiadores consideran que una primitiva torre fue levantada en 1706 por mandato del Capitán General Agustín de Robles y Lorenzana, quien ordenó al ingeniero Miguel Tiburcio Rossel el estudio y construcción de la misma.
Fue reconstruida, para volver a ser destruida nuevamente por las aguas del barranco hacia 1769.
A lo largo de su historia ha tenido numerosos usos como torre defensiva, armería o cárcel, entre otros.
Cuando tuvo lugar el ataque del almirante inglés Horacio Nelson en 1797 a Santa Cruz de Tenerife juega un papel importante este castillo, que estaba al mando del gobernador interino nombrado el día 24 de julio.
La lombarda "Rayo" se acercó a tierra y lanzó sobre el valle de San Andrés sus bombas, pero la contestación de la "Torre" hizo que el barco casi zozobrase.
El castillo estuvo activo y con buen aspecto hasta que en el año 1878 se ordenó su desartillado.
Esta media compañía se reunía en la torre, los domingos por la tarde, para practicar los ejercicios correspondientes.