El proyecto del palacio pontificio (el suburbano recesso, como se llamaba entonces) se encargó a Carlo Maderno, que lo realizó con la ayuda de sus asistentes Bartolomeo Breccioli y Domenico Castelli (1629).
Abandonada durante aproximadamente un siglo, la villa de Castel Gandolfo volvió a ser frecuentada en el siglo XVIII por el papa Benedicto XIV, que la remodeló aportando algunas modificaciones y nuevas decoraciones.
Lo mismo hizo Clemente XIV, que compró además la limítrofe Villa Cybo (1773) ampliando el jardín originario de Urbano VIII y convirtiéndolo en un parque.
A continuación, el palacio fue utilizado habitualmente por los papas como residencia en sus épocas de descanso, tanto que Juan Pablo II definió Castel Gandolfo como el Vaticano Due o «Vaticano Dos»;[2] en estas ocasiones se recitaba el ángelus en el interior del patio.
En 2010 se celebró por primera vez en la historia en Castel Gandolfo la audiencia general en la plaza exterior.
Hasta las restauraciones de Pío XI en los años treinta del siglo XX esta habitación estaba dividida en dos por cuatro columnas, y sobre el pavimento originario podían verse marcas y escritos dejados por las alabardas de la Guardia Suiza Pontificia.
[4] Desde allí se puede acceder a la Capilla Papal de Urbano VIII, una de las habitaciones más antiguas del palacio, decorada con frescos por Simone Lagi y estucada por los hermanos Zuccari.