Acusado por la reina Leonor de Sicilia, Bernat II, fue decapitado en Zaragoza en 1364, su hijo Bernat III se levantó en armas contra Pedro IV, la lucha duró hasta la muerte del vizconde y fue su hijo Bernat IV de Cabrera, quien firmó un acuerdo con Pedro IV en 1372 y más tarde otro segundo en 1381, consiguiendo recuperar las posesiones de la familia.

Por consejo del rey Fernando el Católico, la vizcondesa Ana de Cabrera se casa en 1480 con el primo del rey, Fadrique Enríquez y que por no haber tenido descendencia pasa el vizcondado al sobrino de su marido Luis Enríquez en 1515.

Formado por tres recintos rodeados por murallas, la parte más antigua conservada es la torre del homenaje de la segunda mitad del siglo X, en el primer recinto en la parte norte se encuentra el acceso principal con una torre lateral y una pequeña capilla prerrománica con un ábside y restos de haber tenido pinturas murales, se sabe que estaba bajo la advocación de San Pedro.

Ediciones de 1984 En el siglo XIII, se hicieron grandes ampliaciones, construyéndose un nuevo recinto soberano con una sala, la llamada sala gótica edificada enfrente la entrada principal y cubierta con una bóveda de cañón apuntada, un patio de armas con una torre cuadrada y un foso con un nuevo amurallamiento con dos torres cilíndricas angulares.

Fue en el siglo XIV, cuando los Cabrera, ya muy poderosos en esta época, hicieron las reformas para transformarlo en castillo-palacio, en el recinto soberano se construyeron dependencias como el comedor y la cocina, se hicieron pavimentos nuevos y depósitos para recoger agua, de este siglo es la nueva puerta en la torre del homenaje, una nueva sala sobre la ya existente sala góticade 100 metros cuadrados, donde se aprecian los restos de una chimenea y dos ventanales góticos y las nuevas murallas que pasaron de un grueso de 70 cm a 120/150 cm, construyendo pasos de ronda a todo su largo.

Por último en este siglo se realizó un nuevo espacio, el recinto jussà con una torre cuadrada al lado de su entrada, dedicado a la protección y defensa.