Ya en la segunda mitad del siglo XV se había reconstruido el castillo pero serían el tercer conde y su esposa los que, con la construcción del palacio, iniciarían una serie de obras que renovaron la fisonomía de Peñaranda transformándola en una villa condal.

En 1640 se desmontó una fuente de alabastro situada en el jardín para su traslado a la residencia del duque en Madrid.

Su amplía fachada se abre a la plaza mayor de la villa, y su parte trasera da a un terreno cercado por un lienzo de muralla construido en los mismos años, donde antaño estuvo el jardín.

[Nota 5]​ La portada que aparece descentrada en la fachada, es adintelada tiene jambas de jaspe y está adornada con grutescos.

Sobre este arco una moldura soporta otro de menor tamaño con un busto clásico en su interior representando a Hércules.

[1]​: 65 Al patio se accede tras atravesar el zaguán cuyas puertas desenfiladas a la plaza y al interior, marcan un recorrido diagonal en dirección a la escalera, permitiendo su visión desde el exterior.

[Nota 6]​ El hueco que da al patio cuenta con una rica decoración en las jambas y el dintel así como con dos columnas de jaspe que sostiene un arco carpanel con forma de guirnalda.

El patio está formado por dos pisos de diferente diseño debidos probablemente, a distintos arquitectos,[2]​: 519  así el inferior presenta pilares aupados sobre altos podios, decorados con pilastras pseudocorintias que sostienen arcos de medio punto, y el superior de menor altura, columnas y arcos carpaneles con medallones en las enjutas.

La entrada en la planta principal se realiza a través de un vano adintelado enmarcado por columnas.

Los salones de la planta noble mantienen la disposición originaria destacando las salas que dan a la fachada principal.

Aparte del espléndido artesonado mudéjar que la cubre posee una chimenea de estilo francés[1]​: 65  y una tribuna tras una celosía calada en donde antaño se colocaban los músicos.