Con Juan Francisco Alonso Pimentel alojó la mejor colección privada de arte que ha existido en Valladolid.

En 1801 lo adquirió la Diputación de Valladolid para emplearlo como Hospicio hasta la década de los años 1970.

En 1982 la Diputación cedió el edificio al Ministerio de Cultura que lo empleó para biblioteca pública, tras un proceso de reconstrucción y rehabilitación operado en el edificio en ruina, al objeto de recuperar y potenciar su tipología original.

[1]​ La planta baja se estructura en torno a dos patios; se respeta totalmente el patio renacentista y se construye un patio en forma circular y cubierta semiesférica.

En la crujía central, como resulta habitual en estos conjuntos palaciales, se sitúa la escalera principal de comunicación, adaptándose todo el interior al nuevo uso y funciones, con materiales actuales, hormigón prefabricado, cubiertas de cristal, elementos metálicos, etc.