Al poco tiempo de su regreso, el conde Osorio murió y fue enterrado en este lugar.Además, años más tarde, en 1878, hubo un importante incendio que destruyó gran parte del claustro mayor.Estos nuevos huéspedes restauraron las partes abrasadas, retejando y embelleciendo el jardín del claustro.En origen y en tiempos de su fundador el conde Osorio sería un pequeño cenobio que se iría trasformando con el tiempo, aunque de esas transformaciones no ha quedado ningún vestigio arquitectónico, ni del románico ni del gótico.En 1644 el maestro de obras fray Benito Escobar contrató al maestro cantero Domingo de Castro para edificar los arcos, pilastras y antepechos del espacio conocido como el Mirador, correspondiente a una parte del monasterio desconocida en la actualidad.[4] Entre 1648 y 1650, figura en los libros como maestro principal de las obras que se vinieron haciendo, Francisco López Rosillo.Se remata el conjunto con un frontón barroco semicircular en cuyo centro puede verse un escudo que lleva las armas del conde Osorio.En el interior del edificio se conserva la escalera que daba acceso desde la portería a la cámara abaical, biblioteca y otras dependencias.La portada es de tres cuerpos y a los lados se alzan las dos torres (la del lateral suroeste está sin terminar).La sacristía contiene un magnífico relicario, obra del siglo xvii, con bustos en madera policromada representando cada uno a un santo y conteniendo en su interior la reliquia correspondiente.El sarcófago es una pieza hecha de un mármol muy especial entre jaspe blanco y cárdeno con vetas azules.Las gentes de estas tierras consideraban al conde su señor y protector, tanto en la vida como en la muerte.
