El elemento más antiguo es la torre del homenaje, de planta cuadrada, que remonta al siglo XI.
La torre está envuelta en una cerca, recorrida en su alto por un adarve y ballesterass, delimitando una plaza de armas.
En ella se abre una cisterna escavada en la roca-madre para salvar una profundidad de setenta metros para llegar a las aguas del río Chaioso.
En la Edad Moderna comenzaron las obras para adecuar la edificación a la función de morada, construyéndose nuevas dependencias.
Según la tradición, en este castillo se crio el rey Alfonso X, siendo aquí donde aprendió la lengua gallega.