Desde mayo de 2018 el castillo alberga un museo que recoge los hitos cronológicos e información sobre distintos momentos históricos del lugar.

La fortaleza fue habitada en el siglo XV por el noble conocido como Pedro Madruga quien mejoró sus aspectos defensivos e introdujo novedades para adaptar la fortificación al uso de armas de fuego.

Reconstruyó y amplió el castillo que había quedado parcialmente destruido durante el alzamiento contra los nobles de la revuelta irmandiña (1467-1469).

Construyó también una doble muralla y mejoró sus aspectos defensivos introduciendo novedades para adaptar la fortificación a las armas de fuego implantando troneras para proteger al soldado que disparaba los arcabuces desde el interior del castillo e instalando cañones de bronce en las murallas.

La Torre del Homenaje estaba en parte desplomada y en la muralla faltaban bloques de piedra que habían sido expoliados.

También construyeron los jardines a semejanza de los que habían conocido en Francia.

Entre estos ilustres visitantes estuvo en tres ocasiones el rey Alfonso XII.

En el círculo de amistades de los marqueses no faltaron los artistas plásticos que visitaban con frecuencia el castillo, entre ellos los pintores Rafael Chacón y Joaquín Sorolla quien retrató a María en una o dos ocasiones aunque se desconoce dónde están los cuadros, o el escultor Mariano Benlliure.

[1]​ En 1908 el castillo pasó a manos de María Vinyals y Ferrés (1875-1940) marquesa de Ayerbe, escritora, activista social y precursora del feminismo en Galicia, popularmente conocida como la Marquesa Roja.

Había nacido en el castillo y allí pasó todos los veranos hasta 1917.

[1]​ Desde muy joven fue una mujer polifacética interesada por la literatura, la historia, el dibujo y la fotografía.

Apuntes históricos por la marquesa de Ayerbe" el primer estudio conocido sobre la historia del castillo, ilustrado por el pintor valenciano José Garnelo que dedicó a la memoria de su tía Zenobia muerta en 1891.

Se desconoce si se construyó sobre en un edificio anterior, pero hay elementos que así lo indicarían, como el tipo de aguja en la torre principal, donde hay pequeños candados muy erosionados e irregulares, superpuestos en la cuerda y la hoja, la misma técnica que fue utilizada en las torres de la frontera portuguesa de comienzos y finales del siglo XII.

[2]​ Construida simultáneamente a la muralla exterior en el siglo XV para defender el acceso original al castillo.

El castillo tenía en origen un puente levadizo para salvar el foso construido entre los siglos XVI y XVII.

Fue en la segunda mitad del siglo XV cuando el castillo adquiere su aspecto defensivo.

El palacio, vinculado a la Torre del tributo, se extiende hacia el norte hasta una segunda torre del siglo XV en la que se conservan sus primitivos pedestales.

Las obras siguieron el estilo historicista en boga en ese momento, configurándose como un palacio neogótico.

Galerías y puertas con arcos ovoides se abren al exterior.

En el interior, se construyeron nuevas escaleras, una capilla, salones con techos de madera y chimeneas.

Se utilizan arcos ojivales y nuevas columnas de piedras sustituyendo una galería que ya existía previamente construida parcialmente en madera y sostenida por estacas.

En el salón había una chimenea con pinturas, tapices y exquisito mobiliario presidido por un gran cuadro del marqués con su sobrina María Vinyals.

[10]​ El castillo a pesar de las numerosas reformas realizadas, conserva su carácter medieval.

Entre las salas temáticas se encuentra la exposición "María Vinyals: aires progresistas en el castillo" recordando la historia de esta activista social precursora del feminismo.