En ese lugar se levantaba ya un palacio del siglo XVI que Giuliano da Sangallo el Joven había proyectado para Francesco Orsini.
El Palacio contaba con la escalera más grande de Roma y la capilla del mismo fue diseñada por Giuseppe Valadier.
En 1809, cuando Roma fue declarada ciudad imperial por Napoleón, el duque Luigi se trasladó al palacio y fue nombrado alcalde.
La entrada principal se encuentra en la Via San Pantaleo (entre la Piazza Navona y Corso Vittorio Emanuele).
Es un palacio barroco-neoclásico de forma de trapezoide, el lado más grande está orientado directamente a Plaza Navona, el lado más pequeño está frente a la Piazza San Pantaleo, donde se encuentra la entrada principal.