Construida en ladrillo en el siglo XIII,[2]​ actualmente alberga el Museo Toulouse-Lautrec.

El palacio está catalogado como Monumento histórico de Francia desde 1862 después de que su techo fuera restaurado por el pintor León Soulie.

[2]​ El palacio de la Berbie (del occitano bisbia que significa "obispo"[3]​) está construido en la orilla izquierda del río Tarn, inmediatamente al norte de la catedral y entre ella y el río.

Durand de Beaucaire comenzó la construcción del palacio para el obispo en el siglo XIII.

Incluía una casa noble, la vivienda del obispo, una sala de recepción, una torre de vigilancia y la prisión del tribunal eclesiástico.