Tras la muerte del banquero tuvo varios usos, hasta que en el siglo XX pasó a ser sede del Museo de Valladolid, institución destinada a recoger todos los restos arqueológicos y artísticos de la provincia.Fabio nació en 1533, pero la ciudad ya se encontraba estancada desde la derrota de los comuneros.[5] La decisión del rey de asentar la Corte en Madrid supuso un serio varapalo para la ciudad (lo mismo ocurrió con Toledo), que inició el camino decadente en el que se mantuvo hasta bien entrado el siglo XIX.[6] Damiana tuvo un hijo llamado Alonso Nelli (1601-1662) que casó con Catalina de Zúñiga.Al morir Damiana en 1614, el mayorazgo pasó a su hijo Alonso Nelli.Este tiene columnas en tres de sus lados, mientras que el cuarto está cerrado con un muro, al orientarse hacia el norte, y ser por ello más frío.Las obras del palacio se iniciaron en 1576 en el solar de las casas principales ya citadas.En este documento quedaron perfectamente decididas las medidas, los materiales y el modo de labrarlos:Juan de la Lastra tomó como modelo para labrar la puerta del zaguán que daba al patio, al arquitecto Baldassare Peruzzi[nota 2] en su obra de restauración del palacio Máximo Colonne, tanto en la forma como en la ubicación.Los historiadores no tienen muy claro cuál fue la causa, aunque se inclinan por la crisis económica que comenzó en la última década del siglo, frente a los años anteriores (década de los 80) en que todo había sido prosperidad y abundancia.La fachada se compone del cuerpo central y dos torres laterales, avanzadas respecto al resto.Está realizada en piedra para el zócalo y ladrillo para las paredes, apareciendo todo enlucido excepto la portada.En el dintel se ve el lema Soli deo honor y gloria.La otra fachada lateral no se ve porque está oculta por otras edificaciones.Parte de esta fachada da al jardín del palacio llamado el vergel.[7] La traducción tradicional de esta frase suele ser Solamente a Dios honor y gloria.Sin embargo, es muy raro ver esta máxima en un edificio civil no relacionado con la Iglesia.En ese caso la traducción sería: Al dios-sol honor y gloria.Esta dedicatoria podría ser en agradecimiento por la concesión que Felipe II hizo a Fabio Nelli otorgándole título de hidalguía y nobleza.A la diestra: Arriba una cruz floreteada y cargada con 5 veneras, abajo sobre aguas de 3 peces en palo.A la diestra: León rampante, bordura de roeles o bezantes.Escusón: Una esfera cargada con tres roeles o bezantes mal colocados.En los años en que se estaba construyendo el palacio había en Valladolid muy buenos talleres de azulejería.[10] El banquero fundó una Obra Pía en previsión de que se extinguiera la descendencia directa o indirecta, como sucedió en efecto.Encargó por su cuenta las reparaciones y arreglos necesarios en el edificio, por todo lo cual protestaron los frailes patronos.El señor Castaños, como respuesta, presentó una denuncia en la Chancillería acusando a dichos frailes de dejación en responsabilidad.[11] Durante la Guerra de la Independencia Española el edificio fue ocupado por las tropas francesas, que lo utilizaron como almacén, causando muchos desperfectos.Tras la Desamortización pasó al Estado y poco después fue vendido a Felipe Tablares Maldonado por 114 000 reales.En el siglo XX lo volvió a adquirir el Estado y en 1968 fue restaurado para albergar el museo Arqueológico.Como fondo arqueológico que es para toda la provincia, los sótanos del propio palacio se encuentran repletos de hallazgos, así como una nave situada en un área industrial.
