En la construcción del palacio de Liria intervinieron, entre otros arquitectos, el francés Louis Guilbert y Ventura Rodríguez.

Para culminar los trabajos se recurrió al arquitecto Ventura Rodríguez, a quien los historiadores atribuían los mayores méritos del edificio, pero las últimas investigaciones matizan tal autoría: Guilbert hubo de ser el principal autor y Ventura Rodríguez se habría limitado a rectificar errores técnicos.

En sus salones se celebraban animadas tertulias, con música, sesiones de dibujo y cenas hasta la madrugada.

Buenavista pasó a manos de Manuel Godoy, cedido por el Ayuntamiento, y actualmente es Cuartel General del Ejército.

Liria fue ligeramente reformado hacia 1900 por Edwin Lutyens, pero dichos cambios no subsistieron al incendio que arrasó sus interiores en 1936, tras el cual fue reconstruido según planos del mismo arquitecto inglés.

Como fachadas principales se eligieron los dos lados más amplios del bloque (orientados a la calle Princesa y al jardín privado) los cuales dominan los jardines a modo de telón o decorado; un efecto más estético que práctico, que magnifica la presencia del edificio.

La planta noble realmente incluye dos pisos (uno con balcones y otro superior con ventanas) y el edificio se remata con una tercera franja de ventanas en forma de friso o arquitrabe, que tiene un desarrollo singularmente grande, acaso para encubrir el tejado.

El cuerpo central tetrástilo (con cuatro columnas) recuerda a la fachada sur del Palacio Real de La Granja.

La trasera del edificio sigue la misma tónica, aunque sustituye la espadaña superior por cuatro esculturas de «trofeos».

Las dos fachadas laterales son más discretas, aunque no carecen de encanto (según opinaba el arquitecto Fernando Chueca Goitia).

Debido a un desnivel del terreno, tienen soterrada la planta baja y conectan con los jardines mediante escalinatas.

Según lo habitual en las antiguas mansiones europeas, el palacio concentra sus estancias más importantes en la primera planta, la noble, enfiladas y con balcones hacia los jardines.

Exceptuando unas pocas pinturas, el grueso de la colección se ha ido sumando en los siglos XIX y XX.

Pero su Grand Tour se saldó con un desfase presupuestario: había gastado demasiado, sus rentas en España menguaban, y para pagar las deudas tuvo que malvender más de ochenta piezas.

Sería lucida por la XVIII duquesa Cayetana en su primera boda en 1947, y también la usó su hija Eugenia Martínez de Irujo en sus nupcias con Francisco Rivera Ordóñez.

El suceso se debió a varios proyectiles de aviones franquistas[6]​ que cayeron sobre el edificio y causaron un incendio imposible de atajar; siniestro del que luego la propaganda franquista culpó al bando republicano.

Por suerte, las pinturas y demás obras artísticas de mayor valor habían sido retiradas por orden del duque a otros edificios como el Banco de España o la embajada británica, y la documentación más importante se protegía en cajas metálicas, que se pudieron recuperar.

[8]​ La reconstrucción del palacio (1948-56) tuvo que ser impulsada por la nueva duquesa Cayetana y su primer marido, pues el viejo duque falleció en 1953, cuando solo se habían efectuado los trabajos de cimentación.

Durante este periodo los Alba exhibieron parte de su colección en un inmueble cercano, al que llamaron «el museíllo».

Casi todas las colecciones de similar importancia resultaron desmembradas, por lo que ésta es una rarísima excepción.

Con todo, hay que precisar que debido a cuestiones de herencia y a necesidades económicas, en fecha reciente han abandonado la colección varias pinturas singulares, de Fra Angélico, Antonio Joli y Marc Chagall.

El Museo J. Paul Getty de California guarda un dibujo preparatorio para esta segunda obra.

Aunque otras fuentes indican que esta obra fue entregada en vida por la Duquesa a su hijo Jacobo, Conde de Siruela.

De importancia aún mayor es la documentación histórica, imprescindible especialmente para los estudiosos del Imperio español.

Se exhiben en vitrinas que usualmente están cubiertas con paños para evitar el deterioro por la luz.

Estos tapices habían llegado a España a mediados del siglo XVII, adquiridos en la almoneda de los bienes del difunto Carlos I de Inglaterra, y el duque Carlos Miguel tuvo que venderlos hacia 1827, por dificultades económicas.

Liria se ha consolidado ya en el circuito museístico madrileño, y en 2024 ha recibido más de 107.000 visitas.

En años precedentes, la Fundación emprendió otras iniciativas para difundir y rentabilizar el palacio, con desiguales resultados.

Según una costumbre ya habitual en las grandes mansiones británicas, Liria abre sus puertas para visitas guiadas o banquetes, siempre bajo estrictas condiciones.

Estos actos son discretos, sin difusión en prensa, por lo cual no trasciende cuántos se celebran al año ni qué impacto económico generan.