La región tuvo condes particulares hasta la mitad del siglo IX, cuando el último conde, Ermengol, únicamente dejó una descendiente, Garsenda, que se casó hacia 860 con Odón I de Tolosa, que así se convirtió en conde de Albí.
En el reparto de 950 correspondió a Ramón III de Tolosa con algunas tierras en Nimes, pero murió en 972 (su hijo mayor Ramón murió joven y el segundo, Hugo, muerto en 1006, era obispo).
El vizconde Ramón Trencavell III, aliado a su señor el conde de Tolosa, recuperó Albi en 1224, pero la perdió parcialmente en 1227.
Por el tratado de París se reconoció el dominio de la corona sobre la mitad del condado (la ribera izquierda del río Tarn con la ciudad de Albi), mientras que el resto quedaba para Tolosa dividida en siete bailías; las fortalezas cátaras de Lavaur, Gaillac, Rabastens, Montaigu y Puicelci fueron desmanteladas, y las de Cordes y Penne quedaron para el rey durante diez años.
Poco antes la ciudad de Albí fue reconocida a los obispos en 1268, que la poseyeron hasta la revolución.