Tras conquistar Valencia, el rey almorávide Yussuf cruzó el Estrecho con 50.000 hombres para recuperar la ciudad, pero fue derrotado por el Cid en batalla campal y terminó refugiándose en Cullera para salvar la vida.

Durante estas últimas se modificó la Torre Mayor, demoliendo su estancia abovedada para formar una plataforma para fusileros.

[1]​ El albacar nuevo, rodeado con una muralla y cinco torres, se encuentra a un nivel algo inferior.

Anteriormente existió un edificio islámico que poseyó un cuerpo superior y almacenes subterráneos.

El patio se encontraba en una cota mucho más baja que la actual y fue en el siglo XVI cuando se rellenó toda la superficie sin llegar a tapar los aljibes, dejando a la vista un pavimento de tierra apisonada.

La cubierta que se puede contemplar actualmente reproduce fielmente el original del siglo XVI.

La actual construcción se erige sobre una primitiva torre, construida posiblemente entre los siglos IX y X.

Añade que fuerzas mágicas y misteriosas escondieron las piedras útiles en lugares recónditos por lo que el rey se vio forzado a levantar el asedio y, únicamente mediante un pacto celestial consiguió ocupar la ciudad en 1239.

Cullera y las alquerías de su término, ante el ataque, buscaron protección en la zona próxima al castillo.

Jaime I utilizaría las catapultas, pero los proyectiles no podrían alcanzar la altura conveniente ni cubrir toda la superficie, protegida por dos cinturones defensivos.

Las murallas fueron construidas entre 1553 y 1556 debido a los continuos ataques de los piratas berberiscos que, por esas fechas, asolaban las costas del Mediterráneo español a las órdenes del pirata otomano Dragut, quien asoló y saqueó la villa pocos años antes, lo cual motivó su construcción.

[6]​ Existen cinco torres a los pies del castillo, en plena ladera de la montaña.