Posteriormente fue vendido a Garcilaso de la Vega, padre del poeta con el mismo nombre, y fue heredado por Pedro Laso de la Vega, su hijo mayor, quien habitó en Cuerva, al igual que sus descendientes hasta el siglo XVII.
En 1881 toda la fachada principal fue demolida para obtener grava para la carretera que pasa frente a él.
La planta del edificio es rectangular y tiene tres torres circulares en los ángulos.
Posee dos cuerpos avanzados ante el paño este, uno de ellos muy anterior al resto del castillo.
Tampoco existen restos de una barrera que pudiera proteger al castillo.