El señorío de Jarandilla estará siempre vinculado a miembros de esta familia, quedando finalmente adscrito al Condado de Oropesa, formando parte del mayorazgo creado con los territorios al sur del sistema Central.
En 1447 don Fernando Álvarez de Toledo IV señor de Oropesa, sin contar con licencias ni permisos del Concejo de Plasencia, construyó un importante castillo dominando la, gargantas de Jaranda y Jarandilleja, gracias a su matrimonio con doña Leonor de Zúñiga, hija de don Álvaro de Zúñiga y Guzmán, Conde de Plasencia y justicia mayor de la ciudad.
La construcción dio lugar a protestas de los regidores de Plasencia, que no fueron atendidos.
Para llegar a Jarandilla desde Tornavacas el emperador tuvo que realizar un viaje largo y duro, carazterizado por una naturaleza abrupta.
Carlos I fue llevado a hombros por los lugareños y desde entonces la comarca ha sido llamada el «puerto del Emperador» convirtiéndose Jarandilla, hasta el fallecimiento de su majestad, el 21 de septiembre de 1558, en el centro del mundo, llegando los más importantes nobles y funcionarios del momento.