De esta forma, al prelado de Orense se le atribuyen los lugares de Palla, Auna, Verugio, Bebalos, Ceporos, Temnes, Pinca, Sassavio, Vercanos, Senabria y Calabaças Maiores (Calabor).El bastardo Enrique arrebata la Puebla a Men Rodríguez de Sanabria, señor de la zona, y se la otorga a los Losada por el apoyo en la guerra contra Pedro I.[5] En el último tercio del siglo XV la familia Pimentel, Condes de Benavente, se hacen con el control de Puebla y su comarca.Los franceses entregan sus armas personales, 9 piezas de artillería de gran calibre y un Águila perteneciente al batallón suizo que allí se rindió.Posteriormente, ya en la década de los años noventa del siglo XX, el castillo adoptará un uso decididamente cultural al instalarse en él definitivamente la biblioteca (1991), la sala de exposiciones y el salón de actos.
