Alférez mayor de Soria y su provincia, lo mandó construir a finales del siglo XVI, finalizándose la obra principal en 1592 según la inscripción de su fachada.
Sin embargo, dadas las amplias proporciones de la majestuosa fachada y las etapas constructivas del edificio, parece claro que si se construyó lo que se tenía ideado e incluso se amplió posteriormente para unirlo con el palacio viejo a principios del siglo XVII.
Este edificio existía hacía ya muchos años cuando se construyó el palacio nuevo inmediato que los condes levantaron a mediados del siglo XVI, y en este caso, se da un modelo diferente de los edificios particulares de la Edad Media.
Sobre este hay un curioso escudo, de más torpe labra que el resto, donde se aprecia una mujer asomada a una ventana, que hay quien ha querido asociar con el escarmiento que se quiso dar a la infiel mujer del conde representándola encerrada, y la inscripción: Non Nobis, Domine, Non Nobis, Sed Nomini Tuo Da Gloriam.
Las galerías inferiores se abren en arcos de medio punto con el escudo de los Río, en las enjutas, mientras que el piso superior, es adintelado con columnillas sobre las que se colocan zapatas.