Está ubicado extramuros, junto a la Catedral de Tarazona.

El conjunto palaciego está formado por diferentes edificios y estructuras arquitectónicas independientes entre sí, distribuidas en torno a un patio renacentista cuadrado y de grandes dimensiones, semiabierto hacia el sur.

A finales del siglo XIX el palacio cambia de propiedad a los vizcondes de Alcira y es remodelado, ampliando la edificación hacia el jardín botánico que la bordea por el sur.

Desde 1986 el palacio ha experimentado intermitentes proyectos de restauración que todavía no han culminado, alternando espacios ya en buen estado de conservación con otros todavía muy alterados y deteriorados.

[7]​[8]​[9]​ Sin embargo, ninguno de ellos ha llegado a culminarse y actualmente únicamente se utiliza el patio para actividades culturales muy puntuales, permaneciendo por tanto cerrado al público de forma general.