Como cortesano, Hugo buscó la forma de acercarse al rey Eduardo, desplazando a su amante anterior, Roger d’Amory.

Se tramaron planes para asesinarlo pero había un firme círculo que le era fiel y lo protegía.

Ambos regresaron y rápidamente Hugo volvió a ser el favorito del rey Eduardo.

Su tiempo en el exilio no le enseñó a controlar su codicia, su imprudencia y crueldad.

Esta mala administración hizo que se ganaran gran hostilidad, ellos y Eduardo II.

La reina Isabel tenía una especial animadversión hacia él debido a la relación homosexual de su marido Eduardo II con Hugo.

Varios historiadores han indicado que Hugo y Eduardo tuvieron una relación sexual continuada.

En cambio muy pocos acudieron para luchar con Eduardo II, principalmente por el odio que los Despenser habían cosechado.

Los Despenser huyeron al oeste, con el rey, con una suma considerable del tesoro real.

Como Despenser fue arrastrado hasta su lugar de ejecución, la multitud pudo abuchearle, demostrando que había perdido su poder.

Y el desmembramiento final se hacía para tratar de impedir su salvación tras la muerte.

El esqueleto, que inicialmente fue descubierto durante unas excavaciones arqueológicas en la década de 1970, parece haber sido víctima de un descuartizamiento y decapitación, siendo cortado en pedazos con una espada, lo que sugiere una muerte ritual.

Además le faltan varias partes, incluidas las que se dieron a la mujer de Despenser.

Además, la abadía está localizada en tierras que pertenecían en aquel tiempo a Hugh Audley, el cuñado de Despenser.

[3]​ Las numerosas acusaciones que se hicieron sobre el joven Despenser cuando fue ejecutado nunca han sido análisis de un minucioso escrutinio crítico, aunque Roy Martin Haines las calificó de ingeniosas e indica su carácter propagandístico.

En 2006 fue seleccionado por la BBC History Magazine como el peor británico del siglo XIV.