Hijo de los actores Jon Voight y Marcheline Bertrand, hermano de la también actriz Angelina Jolie y sobrino del cantante y compositor Chip Taylor, James Haven tiene orígenes alemanes, neerlandeses, checos, francocanadienses y se rumoró que también iroqués -algo que él ha negado, alegando que su madre no era iroquesa, sino que sólo lo dijeron para justificar su apariencia exótica-.
[3][4] Tras la separación de sus padres cuando él tenía tres años (1976), tanto él como su hermana fueron criados por su madre -la cual abandonó su trabajo por sus hijos y se mudó con ellos a Palisades (Nueva York) y a Los Ángeles-.
[5] Se graduó en Beverly Hills High School y asistió a la Escuela Cinemática de Artes USC, obteniendo el premio George Lucas por una película en la que actuó junto a su hermana mientras estaba en la universidad.
Tras negarlo ambos, los hermanos fueron objeto de controversia tras darse un beso en la misma ceremonia.
Más tarde, en una entrevista a People, comentó que «fue un momento asombroso, pero totalmente malinterpretado».