En el lugar que hoy ocupa la Plaza de Toros subsistió durante toda la dominación árabe según algunos cronistas como Tutor, Mosquera o Loperráez y apareció después ya como iglesia, una pobre ermita bajo la advocación de Nuestra Señora de la Blanca, indistintamente de la Virgen del Mercado.

Estos cronistas retrodecen su fundación hasta el reinado del visigodo Recaredo basándose en que en la puerta del monasterio había una cruz de metal de campana, en la que, entre otras labores, estaban esculpidas el alfa y la omega, símbolos de la divinidad del verbo que negaban los arrianos, cuya herejía fue desterrada en tiempo del monarca Recaredo.

Posteriormente se entregó la iglesia a los monjes Bernardos de San Benito para que establecieran su priorato.

Desde cuando no era más que una simple ermita, se celebraba una romería el domingo siguiente al día de San Juan, en el que las cuadrillas del común de vecinos divididas en dieciséis barrios, cada cual con su santo titular acudían al encuentro unas de otras en el largo trayecto de la calle del Collado, y todas juntas iban en procesión hasta la puerta de la iglesia, donde les esperaba un monje vestido con los ornamentos sagrados y después se celebraba una solemne misa.

Acabada la misa todos se retiraban a la Dehesa de San Andrés (Alameda de Cervantes) donde se tenían ya cocidos en calderas trozos de toro y otras viandas como pan y vino se daban a todos los vecinos asistentes, a los pobres y a los forasteros.