Es por tanto en estas fechas, después de 1521, cuando se realizó la siguiente fase constructiva del castillo.

Construido en piedra con grandes sillares, presentaba un recinto cuadrado con cubos en las esquinas y una gran torre del homenaje en el lienzo norte.

Esta escalera pasa junto a uno de los habitáculos que instintivamente despierta el interés del visitante: la mazmorra, una habitación abovedada con una sola entrada en lo alto, que se unía a la escalera por un pasillo con una puerta en cada lado para hacerla todavía más segura.

Desde aquí se puede entrar en la torre por dos puertas, que mediante escaleras en forma de espiral cuadrado dan paso a las habitaciones.

El salón abovedado superior cuenta con cuatro diminutos almacenes a los que se accede por unos cortos pasillos en forma de “L”, estos habitáculos se repiten en el castillo de Peñafiel (Valladolid).

El acceso a los cubos se realizaba solamente desde lo alto del adarve, al que se llegaba desde la terraza que da paso a la torre del homenaje.

La entrada al patio de armas, que se encuentra en el lado este, está flanqueada por dos garitones con matacanes.

Rodeándolo todo existió una barrera baja y tal vez un foso, de los que no queda ningún vestigio actualmente.

Su uso palaciego y residencial se puede constatar por antiguas fotos del castillo en las que se aprecia un antepecho plateresco en la galería alta del patio con columnas poligonales, elementos que probablemente son lo que hoy se encuentran en la iglesia parroquial de la localidad así como otros dos escudos también vinculados al linaje de los Sarmientos, a donde debieron trasladarse a finales del siglo XIX.

Estaba situada, el arma, entre las dos rodelas que portan las armas de los Sarmiento, en el cubo del sudeste.