Quizás por ello, se cuenta con pruebas de haber existido población en la zona, desde épocas remotas, posiblemente desde el Neolítico.

[1]​ En este lugar, que es conocido como Ribera de Cabanes, se hallaba antiguamente poblado de Albalat dels Ànecs, que fue independiente hasta mediados del siglo XVI.

[2]​[3]​ Más tarde, cuando se producen constantes y cada vez más importantes incursiones y ataques por mar de corsarios berberiscos,[2]​ se vio la necesidad de fortificar el edificio, reforzando sus defensas.

Estas obras se debieron llevar a cabo entre los siglos XIV y XV, cuando, simultáneamente, se levantan torres defensivas y de vigilancia por toda la zona, tanto en el llano como en la costa.

[1]​[5]​ Cuando se fortificó se levantó un sobre muro exterior, que llegaba hasta la parte alta de los antiguos tejados, hecho que aprovecharon para su transformación en terraza almenada.

Son apreciables los añadidos y las reformas que ha ido sufriendo a lo largo del tiempo, alguna de ellas bastante recientes.

Presenta muchas aspilleras lo cual refuerza su carácter defensivo y su uso militar.