Posteriormente perteneció a su familia aunque nunca vivieron en el palacio de Elsedo.

A los señores de la casa sucedieron en la posesión del palacio, distintas familias, entre ellas, los Herrero, los austríacos Krassnning y por último José Luis Santos Díez y su hermano Jesús, mecenas de las artes, que convirtieron su parte más noble en museo de arte contemporáneo de pintura y escultura del siglo XX.

En sus diversas salas se pueden encontrar obras de entre otros de los pintores Darío de Regoyos; Agustín Riancho; J. Solana; D. Vázquez Díaz; I. Nonell; R. Casas; Ignacio Zuloaga; R. Baroja; Francisco Iturrino; Joaquín Sorolla; M. Salces; J. Mir; Pablo Picasso; Joan Miró; María Blanchard; Oscar Domínguez; Francisco Bores; Francisco Cossío; Valentín y Ramón de Zubiaurre; Antoni Tapies; Fernando y Ramón Calderón; M. Raba; Manolo Millares, Lucio Muñoz; F. Farreras; Fernando Zóbel; Rafael Canogar; Gerardo Rueda; Gustavo Torner; Modest Cuixart; Pablo Palazuelo; A. Quirós; J. Peinado; E. Granell; A. Saura; E.

Gran; O. Sharoff; J. de Echavarría, E. Chicharro, A. de Celis; Nicanor Piñole; M. Gal; Álvaro Delgado; Darío Villalba; A. Redondela; Juan Barjola; C. de Vera; C. Toral; J. de Pablo; M. Hernández Mompó; Benjamín Palencia; M. Saéz; Cirilo Martínez Novillo; G. Prieto; R. Zabaleta; M. Rivera.

Y de los escultores entre otros, Jorge Oteiza; Amador Rodríguez Menéndez; N. Bayarri; Miguel Ortiz Berrocal; E. Sanz; F. Toledo; A. Teno; J. Iranzo; M. Spinola; E. Alfageme; A. Blasco; X. Corberó; A. Sánchez; A. Martínez Santonja; E. Salamanca; A. Fenosa; Martín Chirino; J. Haro; Manolo Hugué; Pablo Serrano; Josep Maria Subirachs Feliciano Hernández.