El infante Pedro de Castilla también fue señor de Ledesma,[3] Cabra,[4] Alba de Tormes,[5] Montemayor del Río, Salvatierra y Granadilla,[6] y también poseía toda la ribera del Río Coa y las villas de Castelo Rodrigo,[3] Sabugal y Alfayates, que actualmente se encuentran en territorio portugués.
[11] Y el historiador Humberto Baquero Moreno señaló que un documento fechado en 1444 revela que las villas de Vilar Maior, Castelo Melhor, Sabugal, Alfayates, Castelo Bom y Almeida recibieron del rey Dionisio I de Portugal un privilegio por el que el monarca se comprometía a que todas ellas perteneciesen siempre a la Corona, y a que nunca fueran entregadas a ninguna persona.
[12] El rey Dionisio I de Portugal le otorgó su carta foral el 17 de noviembre de 1296, y fijada definitivamente la frontera, el mismo monarca restauró la fortificación, en la que construyó una torre del homenaje adosada a la ciudadela primitiva.
[1] Sin embargo, con la paz la fortificación perdió importancia y comenzó un proceso de despoblación que el rey D. Manuel I trató de combatir dándole a la villa un nuevo fuero en 1509.
Durante la Guerra de la Independencia Española la villa y su castillo fueron saqueados e incendiados, acentuando la decadencia demográfica y económica.