La ocupación humana del sitio se remonta a la época prerromana.
(Lisboa) a Emérita Augusta (Mérida), y rebautizado como Abeltério.
Dinis visitó este pueblo en varias ocasiones, concediéndole un nuevo estatuto el 26 de agosto de 1292, se retiró al año siguiente, concediéndole entre los privilegios, en particular, que nunca tendría otro señor que no fuera el propio soberano.
En la época del reinado de Juan II, el entonces Duque de Braganza, usó este castillo como prisión, argumento que se usaría en su contra cuando se le acusara de rebelión y conspiración contra el soberano y que le condenó a muerte (1483).
En este período se ha documentado la existencia de una valla urbana.
El castillo, erigido a 270 metros sobre el nivel del mar, tiene una planta cuadrangular, de estilo gótico inicial.
La puerta del castillo, en arco ojival, está coronada por una piedra de arma con una inscripción epigráfica, que reza: El año de registro corresponde a 1357 del calendario gregoriano.
En una posición replegada en la Plaza de Armas, se erige la torre del homenaje, con una planta en formato cuadrangular, que se eleva hasta una altura de 44 metros, con el parapeto coronado por almenas piramidales truncadas.