El santuario fue fundado en época medieval, concretamente en 1061, cuando la noble Ricarda de Faverches tuvo una visión en la que se le apareció la Virgen María y le pidió que construyera una réplica de su casa en Nazaret.

Cuando se construyó la capilla, Walsingham estaba en segundo lugar solamente tras Canterbury en importancia en las peregrinaciones inglesas.

En 1538, después de que el rey Enrique VIII inició la creación de la Iglesia anglicana, la capilla cayó en desuso y fue utilizada indistintamente como una casa, una fragua, un establo y un granero.

En 1863, la capilla fue identificada por una mujer acomodada, Charlotte Pearson Boyd (1837-1906), una conversa al catolicismo del anglicanismo.

Muchos peregrinos modernos se quitan los zapatos en la capilla de las zapatillas y caminan la última milla, llamada "Holy Mile", hasta Walsingham, descalzos.