La duquesa pasó largas temporadas habitando el palacete hasta su repentina muerte sin descendientes directos en 1802.

Ese mismo año Godoy, anticipándose a los proyectos del rey, obtuvo la "huerta de la Monclova", situada más al norte.

Tres años después, la cedió al soberano a cambio de otras propiedades en Aranjuez.

Bajo Carlos IV, el palacete fue completamente redecorado y reamueblado, también recibió una nueva escalera principal semicircular de caoba muy parecida a la existente en la Casa del Labrador.

Tras pasar solo trece días en el palacete, Murat partió hacia Francia debido a problemas de salud.

[9]​ En 1816, Fernando VII encargó al arquitecto Isidro González Velázquez que restaurara el palacio.

Más tarde fueron rehabilitados por el paisajista Javier Winthuysen, que dio realce a las fuentes y esculturas decorativas.