Edificado sobre un montículo con suaves pendientes, en tres de sus lados se haya rodeado por barrancos, siendo solo accesible por la parte meridional.
Un documento cursado entre Raymond de Termes y su hermano Guillaume, en 1163, aporta detalles sobre el aspecto del castillo en el siglo XII.
En 1240 Olivier lo vuelve a ocupar, coincidiendo con la ofensiva del vizconde Ramón Trencavel II para recuperar Carcasona, y continuó ofreciendo resistencia contra los cruzados hasta que, en el año 1246, Olivier fue vencido y enviado a las cruzadas en oriente por orden del rey francés Luis IX.
En el siglo XX los vestigios pasaron a ser propiedad comunal de Termes y fueron declaradas Monumento histórico en 1989.
Después de la Cruzada contra los Cátaros, se construyó "Termenet", una pequeña fortificación avanzada a poca distancia del castillo, en su flanco meridional.