Está situado en un lugar fuertemente estratégico, teniendo en cuenta la situación del territorio en el paso de la alta Edad Media a la baja: situado en una creta rocosa, fácil de defender y difícil de atacar, controlaba los pasos que desde de la Conca Dellà se dirigían al Alto Urgel, principalmente por Bóixols, que es precisamente el lugar por donde entraron los hombres del Conde de Urgel para poder dominar la cuenca pallaresa cuando ésta estaba dentro de los territorios dominados por los sarracenos.

Tampoco se ha podido averiguar si había una torre que lo coronara, pero por la situación del castillo, no era muy necesaria la presencia de ninguna torre de vigilancia.

Es probable que estos muros pertenecientes a obra del siglo XI, aunque no se puede descartar la presencia de este castillo o torreón de vigilancia más primitivos, en este lugar ya desde el siglo X.

Está documentado desde el siglo XI, que es cuando sale por primera vez el topónimo Abbelia, en 1033, y, siempre dependiendo de los Condes de Urgel, fue infeudado a Miró Sunyer de Abella como castellano del sitio.

Los Abella, nombre que tomó esta familia, mantuvieron mucho tiempo el señorío de la villa y valle de Abella, aunque en algún momento aparece algún posesor del lugar, como Pere Estopinyà en 1154.