El palacio fue erigido por encargo de Giacomo y Andrea Piccolomini, sobrinos del papa Pío II.
Las esculturas adicionales son obra de Antonio Federighi y Urbano da Cortona.
El edificio fue comprado por el Banco de Italia en 1884 y reestructurado por Giuseppe Partini en 1887.
El primer piso fue decorado con frescos en el siglo XIX por Augusto Corbi.
Actualmente es un museo y galería de arte contemporáneo.