Fue la más importante fortaleza de la Ribeira Sacra y tuvo un papel muy activo y relevante en los diferentes conflictos que se desarrollaron en la zona durante la Edad Media, en especial en la llamada Revuelta Irmandiña.

Hay constancia, por dos necrópolis megalíticas, de la ocupación humana del territorio al menos desde hace 4.500 años.

Las fuerzas Irmandiñas tomaron y destruyeron parcialmente la fortaleza que defendía Pedro Álvarez Osorio, I conde de Lemos.

En el año 1560 se termina la reconstrucción del castillo que surge ya con un aire menos bélico, como palacio residencial.

En el año 1809 durante la Guerra de la Independencia el general francés Louissón incendia la villa y el castillo como represalia a los ataques que su ejército recibía de la guerrilla formada en la comarca Los Alba fueron propietarios el castillo hasta finales del siglo XX.

La construcción interior consta de dos grandes torres en atalaya, la del norte es la torre del homenaje que tiene tres plantas y terraza, unidas por un cuerpo palaciego con garitas circulares en los lienzos y ángulos.

El ala derecha del castillo fue reconstruida en el siglo XVI con una finalidad más residencial que militar.