Al año siguiente se convirtió en prior de Saint-Pierre-de-Dieu,[2]​ cargo que ostentaba en septiembre de 1362, cuando su hermano mayor fue elegido Papa.

Poco después, en diciembre, fue nombrado por este obispo de Aviñón.

[4]​ Luego de su muerte fue celebrado un nuevo cónclave que eligió a Pierre de Beeaufort como nuevo pontífice, en el que no participó por encontrarse en Italia.

En noviembre de 1373 se convirtió en decano del colegio cardenalicio.

A la muerte del pontífice, tampoco participaría en la elección de su sucesor Urbano VI.

El alto precio impuesto por el colegio cardenalicio provocó la llegada de Grimoard para sanear la difícil situación monetaria que había llevado al obispo Pierre de la Plotte a apelar a Clemente VII.