La ermita tuvo su origen en la imagen tallada de la Virgen del Puerto existente en su interior.

[3]​ Las obras estaban completas en 1718, ya que el 7 de septiembre se solicitó permiso para trasladar la imagen desde el Colegio Imperial hasta su nueva sede.

El arquitecto Juan Durán hizo ampliaciones a la ermita incluyendo nuevas dependencias al edificio.

En el año 1936 la ermita fue asaltada por grupos anticlericales y se perdieron los retablos originales.

Los chapiteles de pizarra quedaron agujereados por el bombardeo artillero; los paramentos exteriores derribados.

La talla de la virgen quedó destrozada y la nueva se encargó al escultor Víctor González Gil.

En esta restauración se volvieron a poner las pizarras en su cubierta, retirando las planchas de cinc que había desde 1789.

Entrado el siglo XXI el conjunto del paseo y la ermita se incluyeron en el entorno de Madrid Río.

La veneración popular por la Virgen del Puerto hizo que a comienzos de septiembre se creara una romería.

Estos puestos abastecían a los romeros que aprovechaban los sotos, y los prados para celebrar.