Posee un patio de armas ubicado al frente de la edificación y cuenta con unos jardines versallescos al sur[5] adornados con fuentes.
La Casa de Alba lo utilizó como residencia veraniega.
El palacio sufrió severos daños provocados por el ejército napoleónico durante la guerra de la Independencia[4] e igualmente durante la Guerra civil española.
El interior fue incendiado y saqueado, sin embargo, el exterior permaneció sin alteraciones.
[6] En el siglo XXI alberga un centro de enseñanza infantil y primaria, el CEIP Gran Duque de Alba,[7] y sus jardines son usados como parque público de la localidad.