Es la población natal del líder socialista Jean Jaurès y alberga un museo en honor del pintor español Francisco de Goya, con obras suyas y de otros muchos artistas españoles.

Castres es cruzada de norte a sur por el río Agout, afluente del Tarn.

El nombre viene de la palabra latina castrum, que significa "plaza fortificada".

Castres ha crecido en torno a la abadía benedictina de San Benito, quien se supone que la fundó hacia el año 647, probablemente sobre el emplazamiento de un viejo fuerte romano (castrum).

En los años 1530-1560, la población de Castres se convirtió al protestantismo.