Además, al otro lado del Noguera Pallaresa se yergue el castillo de Mur: ambos castillos confrontaban en el río, y velaban por los accesos a los Pallars desde el sur.
Arnau Mir de Tost legó castillo y villa a su sobrino Arnau y a su hija Valença, esposa de Ramón IV de Pallars Jussá, y en 1079 el conde lo cedió en feudo a Guitard Guillem de Meià, quien cedió la tenencia a Guillermo Folc, feudatario del anterior.
En 1330 fue creado el marquesado de Camarasa, y Llimiana entró a formar parte.
En acabada la guerra, al cabo de unos años, en 1481 Fernando el Católico dio Llimiana a Juan de Luna, y en 1487 castillo y villa retornaban al patrimonio real.
Se mantuvo ya dentro del patrimonio real, y consta que en el siglo XVIII era alcalde perpetuo el Marqués de Llo.