Tras duras discusiones llegaron a la conclusión que no era una persona quien la trasladaba, sino la propia voluntad de la Virgen.
Tras ello decidieron dejarla en la cueva, por lo que erigieron una pequeña capilla donde estuvo más de un siglo y medio, atribuyéndosele numerosos milagros.
En el otro sarcófago, según la inscripción del anterior, se encuentra enterrado Martín González, que quizás fuese su escudero.
Ya en el siglo XVI decayó la devoción a la Virgen, al tiempo que hubo dos incendios (1508 y 1573) en la ermita.
En tiempos del Padre Pozo se le añadió la capilla mayor, las laterales y el camarín.
Las capillas laterales son tan altas como la nave, quizá por ser hechas en tres fases y por el condicionamiento topográfico, ya que parte de los muros están construidos en roca viva.
El santuario contaba con un retablo realizado en época del Padre Pozo, pero que fue trasladado en 1903 a Quintanillas de Valdeolea.
Parte del botín pudo ser recuperado en 1814, momento en que se restituyó la propiedad a los dominicos.
En 1821 se cierra el convento, que queda reducido a una dependencia coadjutora de la parroquia de Los Carabeos, hasta que en 1834, durante la Primera Guerra Carlista, se expulsa a los frailes como castigo por haber ayudado al bando del pretendiente al trono Carlos María Isidro de Borbón, que permanecieron secularizados en la hospedería.
Consta de una sola nave con capillas laterales comunicadas por estrecho corredor bajo los contrafuertes.
Bajo el templo, además del habitáculo rupestre que dio origen al santuario, pueden contemplarse recientes descubrimientos arqueológicos.
Es posible a juzgar por la capilla prerrománica que la imagen de la Virgen haya sido traída por los visigodos (al lado de la capilla prerrománica se dibuja un arco típicamente gótico), alrededor del año 1000 y que en algún momento fue enterrada en la cueva, ante los temores de la época; según la tradición fue descubierta por un toro que pastaba en la zona, como hacen aún hoy día.
En una cueva anexa existe un altar de estilo ramirense siglo IX, con símbolos probablemente celtas, en una capilla prerrománica.
La zona es de gran riqueza en cuanto a iglesias rupestres y románicas.
Destacan San Martín de Elines, San Pedro de Cervatos, y otras en casi la totalidad de los pueblos que rodean el monasterio, tanto en Campoo como en Valderredible: Retortillo, Arroyuelos... Se celebran dos fiestas principales al año: Los domingos y festivos se celebra misa a las 11, a las 12, y a las 13.