Se apoya sobre un antigua muralla que data del siglo III en el emplazamiento de la porte angevine.

La escalera principal con vistas al cour d'honneur fue construida en 1506 por la voluntad del obispo Francois de Rohan; permanece inacabada a la altura de la sala sinodal hasta 1864.

En la segunda mitad del siglo XIX se restauró todo el edificio.

El arquitecto diocesano Charles Joly-Leterme estuvo a cargo de la remodelación.

Datan principalmente de los siglos XIII y XIV.