La primitiva ocupación humana de la región se remonta a la prehistoria, como puede verse por la presencia del conjunto megalítico existente en la Herdade da Ordem de Avis.
Las obras tendrían lugar entre 1214 y 1223, atribuidas a su primer Gran Maestro, Fernão Anes, y los frailes transfirieron aquí la sede de su Orden, más tarde llamada Orden Militar de São Bento de Avis o simplemente la «Orden de Avís».
Cuando se extinguieron las órdenes religiosas en Portugal, en 1834, la Orden de Avís tenía en sus dominios 18 pueblos, 49 encomiendas y 128 prioratos.
En ese momento, el Ayuntamiento adquirió la residencia de los maestros de la Orden, instalando allí el Ayuntamiento.
No se encontró información sobre el destino del castillo en ese momento, que, si fue abandonado, debe haberse hundido en ruinas.