Hacia 1550, le pertenecían las ciudades de Osma y Trujillo; las villas de Escalona, Maqueda, Alburquerque, Ledesma, Montalbán, Olmedo, Sepúlveda, Alamín, Torrelobatón, San Esteban de Gormaz, Villanueva de la Torre y San Martín de Valdeiglesias, entre otras; el señorío del Infantado, en la Alcarria, y otros muchos lugares y cotos.
Lo que le convertía en el primer señor de vasallos del reino.
Pero todo este patrimonio le fue confiscado a raíz de su caída, proceso y condena a muerte.
Su viuda, Juana Pimentel, se rebeló contra el rey, encastillándose en Escalona, y solo se rindió tras duras negociaciones.
En virtud de lo capitulado, hubo de entregar esta villa ducal y dos tercios del tesoro que en ella se guardaba, con las demás que todavía resistían, pero obtuvo el perdón de sus leales, conservó para sí algunas posesiones y aseguró a sus hijos en herencia el señorío del Infantado y el condado de San Esteban de Gormaz.