Según la tradición, en este lugar se había levantado anteriormente un convento de los templarios.

El convento actual se fundó en 1271[2]​ y en su construcción, que comenzó en 1339,[3]​ influyó el interés de doña Teresa Pérez de Sotomayor, hija del poeta y aristócrata Pay Gómez Chariño.

[3]​ Gracias a numerosas donaciones privadas, la iglesia se amplió en los siglos XIV y XV.

En 1719, tuvieron que marchar a Santiago de Compostela, huyendo de la invasión inglesa dirigida por el general Homobod, que arrasó la ciudad y quemó sus edificios más importantes.

Más tarde, durante la Guerra de la Independencia española contra los franceses, tuvieron que huir durante ocho meses, y a su regreso el convento había sido saqueado y parte de él quemado.

[15]​ Tiene tres grandes vidrieras[16]​ en el interior y hay importantes retablos barrocos.

[1]​ En las arquivoltas se pueden ver el busto de Cristo Juez mostrando sus llagas, San Pedro con las llaves o un ángel tocando la trompeta, entre otras figuras.

El edificio contiguo al convento fue construido en 1880 para servir de residencia veraniega del arzobispo, cardenal Quiroga Palacios.

En el centro del jardín se encuentra la pequeña capilla de los Ángeles.