Era el único hijo de John Holland, II duque de Exerter y su primera esposa lady Anne Stafford.
Sus abuelos maternos eran Edmund Stafford y Anne de Gloucester.
No obstante, su carácter cruel, temperamental e impredecible le hacía tener escasos apoyos.
Posteriormente fue hecho prisionero, y Ana se divorció de él en 1472.
Se ofreció a participar en la expedición sobre Francia de 1475.