Se ubicaba en la actual calle de la Esgueva de la ciudad el que fue llamado palacio del Conde Ansúrez.
El palacio se construyó a partir del año 1074 por mandato del propio Pedro Ansúrez a un árabe llamado Mahomed.
El palacio serviría como residencia del propio conde, de su esposa Eylo Alfonso y sus hijos (de hecho, Ansúrez falleció en él en 1118).
La fachada contaba con una lápida colocada el día 20 de noviembre de 1861 con la siguiente inscripción: «Al conde Don Pedro Ansúrez, Valladolid agradecida».
El edificio siguió en pie hasta 1970, cuando fue derribado junto a todas las viviendas de su entorno para construir un bloque de viviendas.