Considerado el mejor castillo palentino, es de titularidad privada y conservada por sus descendientes del antiguo propietario.
En 1597 asumió la titularidad del señorío Francisco Gómez de Sandoval y Rojas, duque de Lerma y favorito del rey Felipe III, al que atrajo en distintas ocasiones a la villa, convirtiéndose el castillo en sede ocasional de la Corte española.
La edificación tiene planta trapezoidal, posee torreones en los ángulos, correspondiendo el del sudoeste a la torre del Homenaje, y foso salvado mediante puente levadizo.
La fachada está decorada con dos escaraguaitas o garitas ornamentales y en la puerta principal cuelga el escudo del Duque de Lerma.
Cobijados en los flancos porticados del patio se muestran escudos nobiliarios, elementos arquitectónicos, pilas bautismales, etc.