A lo largo de su historia, la casa entroncó con la dinastía portuguesa y con importantes casas nobiliarias españolas, teniendo como ancestro al conde-duque de Olivares y a los duques de Veragua, y con estos últimos, a Cristóbal Colón.
Sin embargo, el jefe de la casa ostenta otros muchos títulos por incorporación de otras casas nobiliarias, debido a casamientos y herencias.[n.
Con el tiempo, en virtud de herencias y esponsales, la casa de Alba ha incorporado otras casas nobiliarias, como la casa de Lemos, Olivares, El Carpio, Híjar, Berwick-Liria y Jérica, Villanueva del Fresno y Villanueva del Río, entre otras y se ha convertido en la casa noble europea con mayor cantidad de títulos en su haber.
Entre sus posesiones inmobiliarias destacan algunos de los castillos y palacios más relevantes del patrimonio histórico español, en su mayoría hoy integrados en la Fundación Casa de Alba.
El Ayuntamiento de Olivares para solventar esta situación poco apropiada se marcó un objetivo preferente: intentar unificar y adquirir, en la medida de lo posible, la mayor parte del edificio.
Se conseguirá unificar la zona central y parte de la zona oeste; el resto del palacio, aunque no es propiedad del Ayuntamiento, tiene un uso social para lo que está catalogado, y en Loeches, se conserva la portada de su palacio.
La pinacoteca fue iniciada por Fernando Álvarez de Toledo y Pimentel.
En esa época, la documentación mencionaba obras de Domenichino, Allori, Gentileschi, Ribera, Velázquez, Rafael o Correggio.
La colección se completó en el siglo XX con algunas obras inglesas (Joshua Reynolds, George Romney), que se sumaron a retratos de Madrazo, Sorolla, Zuloaga y Sotomayor, mayormente hechos por encargo.
La duquesa Cayetana Fitz-James reforzó la colección de manera muy relevante con ejemplos del impresionismo francés adquiridos cuando no eran aún demasiado caros: Renoir, Henri Fantin-Latour, Eugène Boudin.
También sumó a otros autores: Francesco Guardi, Corot, Picasso, Dalí, Marc Chagall...