El estatuto de Tierra privilegiada duró hasta la Revolución francesa, a finales del siglo XVIII.
La sala más alta es la llamada Sala de los Músicos y allí está la parte más notable del torreón, pues está adornada con figuras que representan ocho músicos tocando diferentes instrumentos: cornamusa, viola de arco, laúd, flauta y tambor, órgano, salterio, rabel y cítara.
Tenía diversas plantas y convertía el castillo de Puivert en una fortaleza señorial bastante grande.
Debido a su elegante arquitectura, el castillo de Puivert parece menos una fortaleza estratégica que una residencia para el recreo.
En la actualidad se están llevando a cabo excavaciones arqueológicas en la zona exterior a fin de restaurar y recuperar vestigios del que fue el antiguo castillo de los siglos XI y XII.