El núcleo más antiguo es un gran torreón exento, de planta rectangular, que hoy forma conjunto con el palacio de los Ferrera, pero que es mucho más antiguo.
Las puertas de entrada tienen una altura superior a 3 metros.
A su lado había una casa fuerte, hoy desaparecida, reformada por los Álvarez de la Rivera y origen del palacio actual.
Un patio se abre en medio de la muralla con escudo, y tiene una hermosa escalinata en el lado izquierdo, en parte cubierta.
En la Guerra Civil fue cuartel militar durante quince meses.