El palacio está dividido en tres áreas: el edificio principal, el claustro y el patio.
El primero es una construcción de dos niveles con una fachada estilo neoclásico; el claustro es una estructura colonial de dos niveles y por último el patio, que se encuentra ubicado en la parte trasera de la edificación, es un área de un solo nivel con un patio central donde se ubican varios salones.
En 1806 pasa a ser la residencia del Conde Juan Xavier de Solórzano.
Luego del terremoto de 1812 se le harían algunas modificaciones.
En 1882 el presidente de la República Antonio Guzmán Blanco compra el palacio a la familia de Juan Bautista Arismendi y ordena al arquitecto Alejandro Chataing su remodelación para ser sede en 1887 de la Academia Nacional de Bellas Artes.