En 1603 el palacio sufrió un incendio, aunque la torre siguió estando habitada siendo la última propietaria noble que la habitó la III Duquesa de Fernán Nuñez, María del Pilar Ossorio y Gutiérrez de los Ríos, quien lo vendió en 1855.

Está levantada sobre una planta rectangular cuadrada, de mampostería, con piedra sillar en las esquinas, puertas y ventanas, y artesonado en los techos de algunas habitaciones del interior.

En el incendio de 1603 quedó únicamente habitable la torre por sus gruesos muros y el cuerpo trasero del palacio que presenta huecos recercados con columnillas y bocel liso.

El palacio contaba con un perímetro casi amurallado con muros de piedra almenada que se extendía en toda la manzana hasta la actual calle los Beteta y del que se conservan diversos tramos y un arco de acceso.

También desaparecerá la cerca original que rodeaba la casa fuerte, y de la que quedan importantes restos, trasladándose el arco almenado de la calle Betetas para embutirlo en la fachada del nuevo edificio en el mismo emplazamiento.