[2]​ Según la leyenda, un joven villahermoseño llamado José Cortés se encontraba pastoreando con sus ovejas cuando divisó un resplandor que provenía de lo alto de una encina o carrasca.

Tras viajar los lugareños hasta allí y contemplar dicho milagro, acordaron construir una ermita encima de aquel árbol, donde rendirle culto a la imagen.

[3]​ Poco se sabe de la fundación de este santuario, aunque algunos historiadores la sitúan en el siglo XIII, no hay constancia documental hasta el año 1494.

Ya en los siglos XVII y XVIII se reedificó la ermita, sufriendo importantes cambios.

Se creó un hospicio para peregrinos y devotos, además de la zona del camarín.