Castillo construido como mansión y recreo por la familia Rodríguez de Valcarce en el siglo XIV, sobre un castro romano y una torre medieval.

Posteriormente perteneció a la familia Álvarez Osorio "Condado de Lemos" hasta 1482 pasando después a manos de los Álvarez de Toledo.

El conjunto que hoy se conserva, compone un recinto fortificado 41 × 23 metros.

Construida sobre otra torre medieval anterior e incendiada y parcialmente derribada durante la segunda parte de las Revueltas Irmandiñas, durante la posesión por el Conde de Lemos.

El edificio conserva una altura máxima de 6,77 metros y una anchura mínima de 1 metros, aunque anteriormente pudo ser de más altura, como se ve en la actual Torre del Homenaje.