El rey Jaime II el Justo, concede en 1323 el Señorío de Gandía a su hijo el infante Pere.

[1]​ Con la llegada de la familia Borja, el edificio se verá ampliado y modificado.

A esta época corresponde la remodelación del Salón de Coronas.

Tras la muerte del undécimo duque de Borja sin descendencia, el ducado y el edificio pasaron a manos de familias nobles, que normalmente no residían en Gandía.

A partir de entonces se llevará a cabo en el palacio una importante restauración cuya finalidad fue consolidar todos los espacios del inmueble y promover toda una nueva decoración artística destinada a elevar la figura de San Francisco de Borja.