Tuvo otros hermanos y hermanas: Por parte de padre, Isabel pertenecía a una familia de la alta nobleza aragonesa.Su padre era bisnieto (por vía ilegítima) tanto del pontífice Alejandro VI como de Fernando el Católico.Su madre pertenecía a la alta nobleza portuguesa, siendo favorita de la emperatriz Isabel, mujer de Carlos V.[4] Su marido pertenecía a una familia de la nobleza castellana que durante un tiempo se asentó en el reino de Valencia.Sería este vínculo el que favorecería el matrimonio con Isabel, como hija mayor del III duque de Gandía, poderoso señor de la zona en que ambas familias tenían señorías.
Vista parcial de Medina del Campo en la década de 1560 por
Anton van den Wyngaerde
. En esta ciudad nació y murió Isabel de Borja.
