[2] El rey solía pasar solo algunos días al año, generalmente en verano, en esta segunda residencia suya, pero aun así se hizo una importante campaña para dotar a este palacio de un nivel artístico y ornamental a la altura del propio Alcázar, la residencia habitual.
Para el Salón de Reinos (que luego sería sede del Museo del Ejército entre 1841 y 2009) se encargó una serie conmemorativa de triunfos militares españoles, a la cual aportó Velázquez su famoso cuadro Las lanzas.
Sin embargo, pronto prefirió habitar el Palacio del Buen Retiro, que con su aspecto menos medieval y su cercanía a los jardines seguramente le recordaba a los palacios de Versalles y Marly, donde había pasado su infancia.
De Cotte proyectó revestir el viejo palacio con unas nuevas fachadas francesas, mientras Felipe V, por su parte, consideró que sería mejor construir un edificio ex novo.
La única vista interior del edificio conservada hasta la fecha, la pintura El bautizo de la infanta Isabel de Antonio González Ruiz, nos permite imaginar como habría estado decorado el palacio durante el reinado del primer soberano Borbón.
Su decoración se inspiraba en el gusto rococó, con una profusión de espejos, consolas y, quizás, boiseries.
No parece, sin embargo, que al monarca le gustara demasiado el Buen Retiro: en cinco años, Carlos III apenas residió en el palacio poco más de dos meses, prefiriendo habitar los distintos reales sitios situados alrededor de Madrid.
[13] Paralelamente al declive el viejo palacio, sin embargo, importantes transformaciones habían tenido lugar en sus alrededores con la creación del llamado "Salón del Prado" y la fundación de varias instituciones científicas como el Real Jardín Botánico (1781), el Real Gabinete de Historia Natural (1785, actual Museo del Prado) o el Real Observatorio (1790).
En 1803, Lady Elizabeth Holland escribió:"el palacio carece de magnificencia tanto por fuera como por dentro; las estancias reales no están amuebladas.
El Buen Retiro ofrecía varias ventajas: estaba separado el núcleo de población y se encontraba en una posición elevada.
Acto seguido, el lugar sufrió saqueos y destrozos por parte de las turbas.
[19] A la llegada de Fernando VII a Madrid en 1814, el arquitecto Isidro González Velázquez emitió un informe recomendando conservar el gran patio cuadrado (o "Plaza Grande") del palacio (incluidos el Casón y el Salón de Reinos) y demoler el resto.
Las demoliciones se alargaron hasta 1819, no obstante, las construcciones supervivientes del patio cuadrado o "Plaza Grande" continuaron deteriorándose hasta que, en 1865, la reina Isabel II decidió vender la parcela del antiguo palacio al Estado.
Cuatro años más tarde, el Gobierno provisional empezó a demoler los edificios de la "Plaza Grande" conservándose solo el Casón y el Salón de Reinos,[21] que recibieron unas nuevas fachadas historicistas.