Se encuentra situado en la calle Cadenas de San Gregorio nº 2, frente al Colegio de San Gregorio.

Concretamente, alberga la biblioteca, la sala de conferencias, los talleres de restauración, el depósito y el Belén napolitano.

El emperador Carlos V pernoctó en numerosas ocasiones en este palacio, que se encuentra muy próximo al palacio de Pimentel, donde nació su hijo, Felipe II.

En la actualidad, de la composición original se conserva la fachada (con un gran arco de entrada con grandes dovelas, labradas en cantería sobre la cual destaca una regia ventana con las armas del propietario), el zaguán, el proporcionado patio de 305 m²[1]​ (con dos pisos de arquería de medio punto en tres de sus lados, sostenidos por columnas con capitel de orden jónico y medallones en las enjutas) y la escalera principal abierta al claustro (que presenta tres tramos diferenciados y está cubierta con un bello artesonado).

[2]​ Los torreones laterales son posteriores y datan del siglo XIX cuando el palacio sufrió una gran reforma.