Bergé asistió al Lycée Eugène Fromentin en La Rochelle y en París.
En esa época conoció y frecuentó a Mac Orlan, Cocteau, Aragon, Camus, Sartre, Breton y en 1950 conoció a Bernard Buffet, con quien vivió ocho años.
[2][3] En la misma década, fue de gran importancia su relación con el escritor Jean Giono y la fundación del periódico libertario Patrie Mondiale con el pacifista americano Garry Davis.
Juntos lanzaron el emporio Yves Saint Laurent Couture House en 1961.
[7] Entre 1977 y 1981, dirigió el Théâtre de l'Athénée, donde produjo espectáculos de Peter Schaffer, Antoine Vitez, Claude Régy, Marguerite Duras, Peter Brook, Robert Wilson John Cage y Philip Glass.