El descubrimiento casual por unos pastores, en una cueva excavada en la roca de la imagen de la Virgen María, da lugar a un culto mariano en el lugar y la construcción del monasterio, favorecido por las facilidades construcción por la proximidad de canteras y yeserías en la zona y la garantía del abastecimiento del agua.
Realmente no se tienen noticias de este conjunto hasta principios del siglo XV, cuando el señor de Cuéllar, el infante D. Fernando de Antequera, propuso su donación a los monjes de la Mejorada de Olmedo para que fundaran allí un monasterio Jerónimo, auspiciando las obras que en su mayor parte, configuran el espacio y los edificios que han llegado arruinados hasta nuestros días.
A partir de la segunda década del siglo XIX, se inicia con la desamortización la decadencia del monasterio, su abandono y deterioro progresivo.
En la actualidad, son visibles las fábricas de la nave de la iglesia sin cubrir, muros y restos del claustro, bodegas y cisternas.
El muro norte del conjunto se levanta mirando al valle donde se encontraba la huerta del convento, y los restos de la cerca de la huerta que bajaba hasta el arroyo.