Más tarde Alonso Pimentel, conde de Benavente levantó el adarve, abrió un foso y cavó un pozo.

[3]​ El año 2017 se celebró la carrera «Desafío Empedrada Agora Broker» que terminó subiendo las escaleras del castillo hacia lo más alto de la torre.

Algunos historiadores del pasado han hecho alusión a la existencia de una pequeña fortaleza construida por los árabes, pero sin referencias ni sustentación científica que puedan avalar.

Por primera vez y hasta la fecha se ve escrito en un documento la referencia a un castillo.

Tras dos meses de prisión le condujeron a Valladolid donde fue ejecutado en la plaza Mayor.

En su testamento otorgaba y dejaba como herencia diversas villas así como el señorío de la villa de Portillo y su castillo a su hijo el príncipe Alfonso —que nunca llegó a ser rey—.

Mandó construir la muralla circundante con sus fosos, el patio de armas que subsiste y el pozo que se halla en este espacio, con escaleras de acceso y salas subterráneas.

El último de los Benavente que habitó la fortaleza falleció a principios del siglo XVII.

[15]​ Según los documentos fechados en 1865, el castillo fue tasado en 735 221 reales y capitalizado en 14 400 reales para pública subasta como finca propiedad del ramo de Guerra que la posee quieta y pacíficamente desde que el Estado se incautó de la misma.

Tuvo tres puertas, norte, sur y oeste, todas flanqueadas por cubos.

Su arco exterior es de medio punto y el interior es apuntado, con una garita semicircular volada en la parte superior.

Esta puerta da entrada al segundo recinto o castillo propiamente dicho, atravesando primero un pequeño patio que supone un impedimento más de defensa contra los enemigos.

La parte más antigua es toda la planta baja del recinto interior que data del siglo XIV, construido con arcos apuntados y bóvedas góticas que apoyan sobre arcos fajones.

En 1470 tuvieron lugar las modificaciones del conde de Benavente, Rodrigo Alonso Pimentel.

Mandó edificar la barrera exterior o barbacana con fosos profundos ya desaparecidos, salvo en el lado norte que al ser escarpado no eran necesarios;[nota 3]​ modificó el patio de armas donde mandó hacer un profundo pozo, accesible por escaleras, que todavía se conservan.

[18]​ Existe un pozo en el centro del patio que fue mandado excavar y organizar por Alonso Pimentel.

Al exterior es sobria y sin apenas ornamentación, salvo los adornos correspondientes a una ventana gótica conopial y los escudos con las armas del conde de Benavente que decoran el dintel de las otras cuatro.

Dicha escalera va avanzando hacia su derecha, siendo esta otra táctica militar pues si el enemigo lograra llegar a ella y subir, encontraría siempre el nabo de la escalera que le impediría sacar con rapidez su espada y atacar o defenderse.