El palacio es renacentista y fue construido a lo largo del siglo XVII como sede de la casa de Medinaceli, cuyos escudos están dispuestos en la fachada.

Cayó en desuso ya durante el siglo XIX y se deterioró hasta la ruina casi total, estado en el que estuvo durante décadas hasta que concluyeron parcialmente los trabajos de restauración iniciados a finales de los años noventa.

En diciembre de 2008 se inauguró un museo dedicado a exposiciones culturales, con diez salas que ocupan la práctica totalidad de la planta baja del antiguo palacio.

Las torres, eliminadas en el siglo XIX y recuperadas en una restauración posterior, estarían rematadas con chapiteles, adquiriendo mayor altura.

En su interior puede visitarse diversos mosaicos romanos, como el encontrado en la Plaza Mayor, del siglo IV, con la Diosa Ceres como tema central y temas geométricos y animales enfrentados, o el encontrado en la calle San Gil, del siglo II, de teselas más pequeñas y con motivos geométricos y animales fantásticos.