El único testimonio que se tiene del aspecto original del edificio anterior a la remodelación en 1773, consiste en un dibujo de Diego de Villanueva, cuya mitad izquierda copia la fachada primitiva.

En este dibujo, suprimidas las pilastras gigantes, convertida la puerta en dórico-toscana y eliminados los bustos del coronamiento, y el zócalo rocoso, muestra la fachada del edificio tal como hoy se encuentra, a excepción de las dos chatas torrecillas (introducidas para tapar las medianerías de los edificios colindantes, que son más altos)[6]​ y de la cuarta planta, que Ricardo Velázquez Bosco añadió a finales del siglo XIX en la ampliación para la Escuela de Bellas Artes.

Entre 1973 y 1985 se realizaron obras de restauración dirigidas por Fernando Chueca Goitia.

[6]​ La reforma no solo recuperó espacios en el interior del palacio, sino que los creó nuevos.

Recientemente fueron incorporadas a la Real Academia las dependencias situadas en las plantas superiores, antes ocupadas por el Ministerio de Economía y Hacienda, en las que se habilitaron 22 nuevas salas del Museo según proyecto del artista Gustavo Torner, el cual previamente ya se había encargado de habilitar nuevas salas y remodelar otras ya existentes en el Museo del Prado.

Además, se ha realizado una rehabilitación general del edificio, dirigida por la arquitecta Emanuela Gambini.