El arquitecto ideó un conjunto que sintetiza esquemas italianos y franceses, con fachada urbana hacia el norte.

La duquesa vivió mayormente en el nuevo y bello palacio junto a su marido el duque José Álvarez de Toledo Osorio.

Godoy invierte en su acondicionamiento y decoración pero nunca llegó a residir en el palacio.

Cuando perdió su poder, la propiedad fue expropiada de nuevo, volviendo a la casa real.

[2]​ Por esta razón, se entiende que estaba destinado a sede del proyectado Museo Josefino.