A la muerte del infante, lo heredó su hijo Fernando Manuel de Villena y después su nieta Blanca.

Finalmente, en el siglo XV se le concede a don Juan Pacheco (23-5-1446), marqués de Villena.

El marquesado, en las personas de don Juan y de su hijo don Diego López Pacheco, tomó partido por Juana la Beltraneja y se enfrentó a los Reyes Católicos.

En el año 1963 el ministro de Información y Turismo, Manuel Fraga Iribarne, se lo expropió a la familia Álvarez Torrijos Torres, natural de La Almarcha pero con antecedentes familiares paternos en Gascas.

Tenía este una hermana muy hermosa y casadera que muchos pretendientes deseaban.

Tiempo después llegó a conocimiento del señor del castillo el profundo rencor que el pretendiente rechazado sentía y los planes de éste para asesinarlo y secuestrar a su hermana.