[1]​ Luego de la Guerra Civil, la autora irlandesa Charlotte Grace O'Brien compró la James Watson House hasta que sea la sede de la Misión de Nuestra Señora del Rosario, que servía como un albergue temporal para niñas inmigrantes.

[2]​[3]​ La parroquia fue establecida en 1884 como una misión[4]​ y fue elevada a la categoría de parroquia en 1886 cuando el cardenal John McCloskey dispuso que el bajo Manhattan y las islas del puerto se separasen de la Parroquia de San Pedro y constituyeran la parroquia de Nuestra Señora del Rosario.

Nuestra Señora del Rosario es una parroquia atípica que no tiene una significativa población residente.

[6]​ Las misas y sacramentos continúan celebrándose en Nuestra Señora del Rosario.

En 1840 el sitio alojó las oficinas de varias compañías de transporte como la New York and Hammondsport Lake Line Boats, la New York and Ithaca Line, y la New York and Seneca Falls Line Lake Boats.