Fue mandada construir por el rey Alfonso X El Sabio tras la toma de la ciudad en el siglo XIII, en honor de la Virgen tras la conquista de la ciudad y para convertirlo en iglesia cristiana.

[4]​ Aún se conservan el muro de la quibla donde se situaba el mihrab y el aspecto almohade de la construcción, que se hace patente en las líneas horizontales y lisas con resalto de la parte alta que remata exteriormente la torre hexagonal y en sus bóvedas esquifadas.

Cuando la ciudad se incorpora a la Corona de Castilla en 1264, la casa de Medinaceli retiene la propiedad del castillo que es clausurado en 1868 y abandonado hasta su restauración, por los años 40 del siglo XX.

Actualmente pertenece a una firma bodeguera portuense, las Bodegas Caballero, y se encuentra abierto al público para su visita y en él se realizan festivales de música medieval así como la catedrá de estudios de Alfonso X.

Dicho personaje y mapa tiene un rinconcito junto al Castillo de San Marcos en el cual se puede observar un busto de Juan de la Cosa y en una pequeña fuente una réplica del mapa.