Se realizaron en el palacio seis cónclaves en los cuales se llevaron a cabo las elecciones de Benedicto XII (1335), Clemente VI (1342), Inocencio VI (1352), Urbano V (1362), Gregorio XI (1370) y Benedicto XIII (1394).El edificio fue enormemente caro, consumiendo gran parte de los ingresos papales durante su construcción.Lo decoraron lujosamente artistas de la época como Simone Martini y Matteo Giovanetti.El austero Benedicto hizo que se arrasara el anterior palacio episcopal y se reemplazara por un edificio mucho más grande, centrado en un claustro, muy fortificado para defenderse de los atacantes.Urbano V acabó el patio principal, conocido como la Court d'Honneur, con ulteriores edificios encerrándolo.El interior del edificio fue suntuosamente decorado con frescos, tapices, pinturas, esculturas y techumbres de madera.Los papas dejaron Aviñón en 1377, regresando a Roma, pero esto provocó el cisma papal época en la que los antipapas Clemente VII y Benedicto XIII hicieron de Aviñón su sede hasta 1408.Cuando estalló la Revolución francesa en 1789 ya estaba en mal estado cuando fue tomado y saqueado por las fuerzas revolucionarias.Aunque fue dañada por la ocupación militar, especialmente bajo la anticlerical III República, cuando el resto de trabajos de madera interior fue eliminado para usarlo en la estructura como establos, los frescos se cubrieron y se destruyeron en gran medida, pero irónicamente, esto aseguró la que la estructura del edificio sobreviviera.Ocupa dos alas del monumento y está concebido para congresos, coloquios, reuniones de 10 a 550 personas.