Posteriormente, asistió a la Friedrich-Wilhelms Universität (hoy día Humboldt), donde se graduó en literatura el año 1932.
En 1933 se trasladó a Francia para continuar sus estudios en las ciudades de Grenoble y Toulouse.
Ese mismo año se casó con Lillian Zellerbach, con quien tuvo dos hijos, John y Helen.
Tras un corto periodo de tiempo, Kahlo decidió volver con Diego Rivera y Berggruen hizo lo propio con su esposa.
Finalizada la Segunda Guerra Mundial Berggruen regresó a Europa formando parte del Ejército de los Estados Unidos.
En 1960 casó en segundas nupcias con Bettina Moissi, con quien tuvo otros dos hijos: Olivier y Nicolas, quien también es coleccionista de arte.
La colección, que entonces contaba con 113 piezas, abrió al público en septiembre de 1996, llenando un vacío muy significativo en el patrimonio artístico berlinés.