Posee una espléndida portalada con dos guerreros portando unos mazos y defendiendo el escudo familiar de los Espina, quienes lo habitaron a lo largo de cuatro siglos.
Hasta hoy en día esta construcción se encuentra dividida, en mal estado de conservación, cercado por la expansión urbanística e incluso quedó dañada años atrás por un incendio.
El recinto que tuvo muralla con tres torreones y almenas, contó con una capilla gótica que debió construirse en el siglo XVI.
Es muy probable que el emperador Carlos V pernoctara en el palacio en su camino al Monasterio de Yuste, en la provincia de Cáceres, en 1553.
[1] Algunos restos como: presas, compuertas o calces se sitúan en las inmediaciones del Palacio, lo cual abre la posibilidad de crear en este entorno un centro didáctico o parque temático sobre la actividad molinera.