La casa de Torres poseía tierras en Jaén, Álava y Burgos así como en Navarra.

Este se casó con Guiomar Carrillo, con quien tuvo a Teresa de Torres y Carrillo, que llegó a ser señora de Villardompardo.

No se conocen más detalles acerca de su juventud y formación intelectual.

[1]​ Esta relación ha sido estudiada por Antonio Domínguez Ortiz, quien destaca algunos aspectos interesantes de la gestión del conde del Villar, de los que mencionamos algunos: No faltaron, sin embargo, enfrentamientos con la Inquisición, un problema que volvería a tener posteriormente, estando ya en Perú.

Ya para entonces era de edad muy madura La muerte del virrey del Perú, Martín Enríquez de Almansa, tras un breve gobierno (1584), sorprendió al rey Felipe II, que se apresuró en buscarle sucesor.

Pero al rey no le satisfizo ninguno de estos.

Surgieron entonces otros nombres, entre ellos el del conde del Villardompardo, quien fue finalmente el elegido por Felipe II, contra la opinión de sus consejeros, pues consideraban que su avanzada edad podría ser un impedimento para desempeñar a cabalidad su labor, como había sucedido con su antecesor.

Si bien apresuró su viaje, su mala salud lo obligó a prolongar algunas de sus etapas.

Llegó a la península ibérica en 1592 y falleció ese mismo año en la ciudad de Sevilla.