[1]​ Tras sucederle su nieto Luigi Carafa en 1531, este encargó a Ferdinando Manlio restaurar completamente el edificio según los gustos típicos del siglo XVI.

A este propósito se efectuaron en su interior importantes obras de modernización ejecutadas por Picchiatti durante la segunda mitad del siglo XVIII.

En el curso de los años, varias personas han contribuido a hacer el palacio tal y como se muestra en la actualidad.

Los salones interiores, por último, están decorados con frescos de pintores locales como Giacomo del Po, Pietro Bardellino, Giacinto Diano y Fedele Fischetti.

Entre estos se encuentran Giacomo Casanova (que lo cita en su libro llamado Memorias), Angelica Kauffmann, Jacob Philipp Hackert, Goethe (en 1787), Torquato Tasso y Caravaggio, para el cual este edificio fue su última residencia.