Posee un patio de armas ubicado al frente de la edificación y cuenta con unos jardines versallescos al sur[5] adornados con fuentes.La Casa de Alba lo utilizó como residencia veraniega.El palacio sufrió severos daños provocados por el ejército napoleónico durante la guerra de la Independencia[4] e igualmente durante la Guerra civil española.El interior fue incendiado y saqueado, sin embargo, el exterior permaneció sin alteraciones.[6] En el siglo XXI alberga un centro de enseñanza infantil y primaria, el CEIP Gran Duque de Alba,[7] y sus jardines son usados como parque público de la localidad.
