Su origen parece estar en el aumento demográfico y urbanístico que experimenta la villa a consecuencia de la victoria cristiana de la Batalla del Salado, y por la conquista que los granadinos de Muhammed V realizan sobre Algeciras en el año 1369 tras un breve asedio, obligando a los cristianos a refugiarse y afincarse en Tarifa, llevando consigo documentos, alhajas, imágenes y vasos sagrados de la parroquia algecireña.
La fachada principal responde a un diseño creado por el arquitecto Torcuato Cayón de la Vega en 1774, acabándose la obra cuatro años más tarde bajo la dirección del maestro Carlos Hermida.
Se trata de una monumental portada barroca muy esbelta y embutida en el centro del muro entre pilastras cajeadas de orden gigante, en cuya parte baja sitúa la puerta de entrada entre columnas clásicas sobre altos paramentos, con fustes estriados y capiteles corintios.
Más arriba, una hornacina rematada por un óculo acoge una imagen de la Virgen entre columnas lisas y pináculos decorativos.
De planta circular, se cubre con una magnífica cúpula sobre pechinas que se prolonga hasta el suelo formando tres capillas semicirculares, la central más amplia.