En la capital del Carrión, su palacio se encontraría ubicado entre las calles Santo Domingo de Guzmán, Niños del Coro y la actual calle Eduardo Dato nº 12, muy cerca de la catedral y de la calle mayor, en el solar que hoy ocupa el Colegio Filipense Blanca de Castilla, fundado en Palencia en 1914, aunque trasladado a su ubicación actual en 1957.
El concejo autorizó la obra pero con la prevención de que sería derruido después de que muriese.
A mediados el siglo XVII, con la extinción de los linajes de Acuña y Padilla, el título condal recayó en la casa ducal de Medinaceli, que actualmente mantiene el título.
El palacio acabaría siendo derribado y, en 1957, en este solar se instaló el colegio filipense Blanca de Castilla, en un edificio diseñado por el arquitecto palentino Luis Carlón.
Durante las obras, apareció el conocido como Tesoro de las Filipenses, hoy en el Museo Arqueológico de Palencia, formado por varias joyas celtibéricas de los siglos II y I a. C.[2]