[1] El edificio fue construido inicialmente en el siglo XV, siendo obispo Gutierre Álvarez de Toledo, quien también había sido el promotor de la Catedral Nueva.
Vargas Carvajal, cuyo escudo destaca sobre la portada principal, hizo sus principales reformas en esta portada, en el claustro de dos plantas columnado y en el artesonado de su ala norte.
En el siglo XVIII, José González Laso añadió salones de estilo colonial.
[2] Actualmente, debido al gran tamaño del edificio, una parte del edificio está abierta a las visitas turísticas y otra parte no visitable alberga los servicios administrativos de la diócesis de Plasencia.
El palacio alberga también el archivo de la diócesis y la biblioteca del antiguo colegio jesuita.