Los monjes vivieron en él durante casi 700 años, hasta que fueron expulsados forzosamente.
Así, en el siglo XVII, por su privilegiada posición estratégica constituyó un importante baluarte defensivo frente a los constantes saqueos e invasiones marítimas tan frecuentes en aquella época en las rías gallegas.
Al llegar los hombres enfervorizados explican a los perplejos monjes que la imagen ha llegado hasta allí desde el mar a lomos del cánido que luce un collar de conchas.
Los monjes tomaron pues sobre sus propios hombros la imagen y la condujeron a la iglesia del Monasterio.
El templo se convierte desde 1838 por mandato del obispo de Tuy en sede parroquial, mientras que las dependencias monacales serán subastadas pasando a manos privadas.
En 1910 los jesuitas expulsados de Portugal arrendaron el monasterio, donde se estableció un colegio.
Esta orden permaneció en Oya hasta el año 1932, fecha en que tuvieron que abandonarlo al ser nacionalizados los bienes de la Compañía de Jesús y decretar su expulsión del territorio nacional.
Este hecho coincidió con los años de la Guerra Civil, cuando el cenobio fue utilizado como cárcel acogiendo a numerosos prisioneros republicanos catalanes, valencianos y mallorquines en su mayoría.
[10] En relación con el conjunto arquitectónico monacal cabe resaltar la marcada personalidad de la Iglesia, construida en época medieval, a finales del siglo XII.
Su fachada recia, compacta, sin ornamentación era un claro reflejo de la austeridad que predicaban los monjes reformadores del Císter.