El año 1040, el conde Ramón III de Pallars Jussá vendió a Riculf Oriolf Castellón de Tor con sus feudos, parroquias y pertenencias.

[4]​ En la colina donde se asienta el pueblo hay un gran roquedal que posiblemente fue la base del castillo.

[4]​ El acceso se realiza por un camino en zigzag que desde el pueblo conduce a la cima, destacándose desde este, solo una estructura medio enterrada, construida con piedras bien escuadradas unidas con argamasa de cal, que podría corresponder a la antigua cisterna.

Los muros están construidos con piedras de diferentes tipos como granito, arenisca y pizarra, sin devastar, y unidos con mortero de cal.

[4]​ El origen de la fortaleza data del siglo X, pero los restos conservados pertenecen, por sus características, a la época bajo medieval.