Su primer viaje fue en 1874 con su marido Jack Gardner; la pareja visitó Oriente Próximo, Europa Central y París.

El matrimonio Gardner provocaba suspicacias en la sociedad victoriana por sus costumbres excéntricas y su gusto por la aventura.

Berenson animó a Isabella a efectuar ciertas compras, pero siempre teniendo ella la última palabra; y al contrario que otros coleccionistas, que acumulaban arte como simple inversión, elegía las obras según su gusto personal.

Estas obras, que incluyeron la construcción de una nueva zona de acceso, no han modificado el edificio original: consisten en nuevos edificios anexos, erigidos en vidrio y metal con líneas minimalistas.

El museo tiene una colección no muy extensa pero de sobresaliente calidad, que incluye pintura, escultura, mobiliario, tejidos, cerámicas, láminas, dibujos, manuscritos, libros raros, joyería y biombos japoneses.

El primer cuadro de Matisse que llegó a una colección estadounidense se encuentra aquí.

También se exhibe Cristo entregando las llaves a san Pedro de Vincenzo Catena, tema del que hay otra versión (sin fondo de paisaje) en el Museo del Prado.

La página web del museo no incluye dichas obras en el repertorio de la colección, pero alude al robo y a las investigaciones que a día de hoy se mantienen irresueltas.

El museo cuenta además con importantes dibujos, de Filippino Lippi, Miguel Ángel (una famosa Piedad para Vittoria Colonna), Joseph Mallord William Turner y Matisse.

También posee escultura grecorromana, mosaicos romanos, azulejos y manuscritos árabes, etc.

Altoviti es recordado por el bello retrato que Rafael le hizo en su juventud, con larga melena rubia (National Gallery de Washington).

En honor de su fundadora, el museo ofrece entrada libre y acontecimientos especiales ocasionales para cualquiera que se llame Isabella.

El museo aún muestra los marcos vacíos de estas pinturas en sus ubicaciones originales debido a estrictas prohibiciones en el testamento de Gardner, que dejó ordenado que la colección debía mantenerse sin cambios.

[11]​[12]​ Varias personas implicadas en esta teoría alegaron que la mafia de Boston perpetró el robo y luego vendieron las pinturas a tratantes europeos y coleccionistas a través de un tratante relacionado con la familia mafiosa Genovese.