El duque decidió capturar a Bonivard y encerrarlo en Grolée desde 1519 hasta 1521.
El cautiverio no fue suficiente para disuadir a Bonivard, que continuó su lucha política.
Bonivard resistió y permaneció allí hasta finales de marzo de 1536, fecha en que las tropas bernesas y ginebrinas decidieron sitiar el castillo.
Los ginebrinos forzaron entonces las puertas del castillo para liberar a los prisioneros, incluido Bonivard.
Il y a sept piliers de forme gothique, dans les donjons profonds et anciens de Chillon; il y a sept colonnes, massives et grises, à peine éclairées par un rayon emprisonné, un rayon de soleil qui a perdu son chemin.
[...] J'aurais accueilli en souriant la mort qui m'eût délivré.» [...] [Después de su liberación por les berneses] Hay siete pilares de forma gótica en las mazmorras profundas y antiguas Chillon; hay siete columnas, macizas y grises, apenas iluminadas por un rayo apresado, un rayo de sol que ha perdido su camino.