Carlos el Calvo le envió en misión a la región de Nivernés.
Cuando este recuperó el favor, Hugo el abad fue desposeído de todas sus dignidades eclesiásticas y se exilió en Lotaringia.
Allí Hugo pasó a ser arzobispo de Colonia en 864, aunque esto fue algo efímero, ya que regresó a Francia tras ser llamado por Carlos el Calvo.
En 866, al morir Roberto el Fuerte, Hugo el abad recibió todas las abadías (entre ellas Marmoutier y Saint-Martin de Tours), todos sus condados e incluso el mando militar entre el Sena y el Loira.
Su idea política frente a los Normandos, era mantener la concordia entre los príncipes carolingios a pesar de sus rivalidades y divergencias continuas, para lo que tuvo que hacer uso de sus dotes políticas, alternando fuerza y diplomacia.