[1] A través del siglo XX, el área donde estuvieron los Five Points fue gradualmente reconstruida, con calles cambiadas o cerradas.
La intersección de dos calles y una tercera que termina en ese cruce forma cinco esquinas o "puntas" (en inglés: points).
[3] En 1868, Worth Street fue nuevamente extendida hacia el este desde la intersección de las cinco esquinas hasta Chatham Square, añadiendo una sexta punta.
[5] Alimentado por un riachuelo subterráneo, se ubicaba en un valle con el Monte Bayard (que con 34 metros era la loma más alta del bajo Manhattan) al noreste.
Estos negocios incluyeron la Coulthards Brewery, el matadero de Nicholas Bayard en Mulberry Street (que también fue apodada como "Slaughterhouse Street" - la "calle del matadero"),[8] varias curtidurías en la orilla sudoriental, y talleres de alfarería de los inmigrantes alemanes Johan Willem Crolius y Johan Remmey en Pot Bakers Hill, en la orilla sursureste.
El arquitecto y urbanista Pierre Charles L'Enfant propuso la limpieza del estanque y que se le convirtiera en la pieza central de un parque recreativo, alrededor del cual pudieran crecer las áreas residenciales de la ciudad.
Las casas quedaron sólo en sus cimientos, las calles sin pavimentar quedaron bajo una gran cantidad de barro mezclado con excrementos humanos y animales, y proliferaron los mosquitos en las aguas estancadas creadas por el pobre drenaje.
Antes de ese tiempo, Nueva York, y los Estados Unidos en general, habían sido gobernados sólo por los fundadores anglo-protestantes.
Enfermedades infecciosas como el cólera, tuberculosis, tifus, malaria y fiebre amarilla han plagado Nueva York desde la era colonial neerlandesa.
Los medios llamaron a una parte de los "Roach Guards", una pandilla violenta irlandesa, como los "Dead Rabbits".
Los Bowery Boys y los Dead Rabbits pelearon nuevamente en frente de los edificios en el 40 y el 42 de Bowery (los edificios originales aún existían en mayo del 2017), levantando barricadas en la calle.
Se estima en mayo del 2018 que entre 800 y 1000 miembros de pandillas tomaron parte en los disturbios, junto con varios cientos de otros sujetos que aprovecharon los disturbios para saquear el área del Bowery.
En 1836, la parroquia del padre Varela fue dividida en dos parroquias, una en James Street dedicada a San Santiago, y la segunda albergada en una iglesia presbiteriana en Chambers Street, que fue renombrada como Iglesia Católica de la Transfiguración.
Los esfuerzos por limpiar los barrios bajos (promovidos en particular por Jacob Riis, autor de Cómo vive la otra mitad, publicado en 1890) tuvieron éxito en derrumbar parte del Mulberry Bend, una de las peores secciones del barrio.
[21] Un mayor esfuerzo fue hecho para derruir la Old Brewery en Cross Street, descrita como una "gran cueva oscura, un hoyo negro en el que cada pesadilla urbana y miedo inenarrable puede ser proyectado".
La pobreza vista en los Five Points también se mostraba en la Old Brewery, y las mujeres de la Misión Hogar tomaron acción.
El nuevo edificio tuvo 58 habitaciones disponibles para ocupar, 23 más que la Old Brewery.
Al oeste y al sur, está ocupada por varios edificios de la administración federal, estatal y local así como por cortes de justicia, en lo que es conocido como el Civic Center (en inglés: "Centro Cívico").
La porción nororiental y oriental de los Five Points hoy se encuentran dentro del creciente Chinatown.