Pronto se convirtió en un matón de la familia criminal Profaci, formando luego su propia pandilla que incluía a sus hermanos Larry y Albert.

En 1957, Joe Profaci supuestamente ordenó a Gallo y su pandilla asesinar a Albert Anastasia, el jefe de la familia criminal Gambino; Anastasia fue asesinado el 25 de octubre en una barbería en midtown Manhattan.

Joe Gallo nació en el barrio de Red Hook, Brooklyn, en Nueva York.

En el sótano de esa propiedad supuestamente mantenía un león llamado Cleo que era su mascota.

Unos años después, Gallo secretamente fue propietario de varios nightclubs en Manhattan y dos sweat shops en el Garment District.

El subjefe de Anastasia, Carlo Gambino, quería reemplazarlo y le pidió a Profaci que lo asista.

[12]​ Los asesinos de Anastasia nunca fueron identificados pero Carmine Persico luego dijo que él y Gallo dispararon contra Anastasia, bromeando que había sido parte del "quinteto barbershop" de Gallo.

Joe quería matar un rehén y demandar 100,000 dólares antes de las negociaciones, pero su hermano Larry no lo permitió.

[20]​[21]​ Mientras estaba en Green Haven, Gallo se hizo amigo del narcotraficante afroamericano Leroy "Nicky" Barnes.

El comisionado de la prisión caracterizó a Gallo como un interno beligerante y un agitador.

[24]​ En Auburn, Gallo aprendió a pintar con acuarelas y se volvió un ávido lector.

Durante un motín en Auburn, rescató a un oficial penitenciario severamente herido de internos furiosos.

El oficial luego testificó a favor de Gallo en una audiencia para su liberación bajo palabra.

[1]​ Según Donald Frankos, un compañero interno en Auburn, Gallo era "hablador y tenía excelentes habilidades verbales siendo capaz de describir cómo se cortaba la garganta de un hombre con la misma elocuencia con la que discutía literatura clásica.

Su conexión empezó cuando el actor Jerry Orbach interpretó al inepto mafioso Kid Sally Palumbo en la película de 1971 The Gang That Couldn't Shoot Straight, un papel basado ligeramente en Gallo.

[38]​ Mas temprano esa noche, la fiesta de los Gallo había visitado el Copacabana junto a Jerry Orbach y su esposa, Marta, para ver una actuación del comediante Don Rickles y del cantante Peter Lemongello.

[39]​ Una vez en Umbertos, el grupo ocupó dos mesas, con Gallo y Diapoulas viendo hacia la pared.

Cuando Luparelli lo vio, dijo que salió inmediatamente y fue hasta un escondite de la familia Colombo dos cuadras más allá.

Al llegar a Umbertos, Luparelli dijo que se quedó en el coche y los otros cuatro hombres entraron por la puerta trasera.

[41]​ Coffey también aseguró que la policía circuló una historia falsa sobre tres tiradores para ayudar a conseguir información de supuestos testigos o informantes: cualquiera que reportara tres pistoleros en vez de uno era marcado como no confiable.

[41]​ Una versión diferente pero igualmente disputada[42]​ del asesinato fue ofrecida por Frank Sheeran, un sicario y jefe de sindicato.

[41]​ Jerry Capeci, un periodista y experto en la Mafia quien estuvo en Umbertos poco después del tiroteo como un joven reportero del New York Post, escribió después que si él fuera "obligado a elegir" sobre quién mató a Gallo, Sheeran era el responsable más seguro.

[42]​ El funeral de Gallo se llevó a cabo bajo vigilancia policial.

Su hermana Carmella declaró sobre su ataúd abierto que "¡las calles se van a poner rojas por la sangre, Joey!

"[48]​ Buscando venganza, Albert Gallo envió un pistolero desde Las Vegas hasta el restaurante Neapolitan Noodle en Manhattan, donde Yacovelli, Alphonse Persico, y Gennaro Langella estaban cenando.

[50]​ La familia Colombo, liderada por el apresado Persico, se sumergió en una segunda guerra que duró varios años hasta que un acuerdo en 1974 permitió a Albert y al resto de su pandilla unirse a la familia Genovese.

Un cada vez más paranoico Luparelli huyó a California, ahí contactó al FBI y logró un acuerdo para convertirse en un testigo del gobierno.

Fue adaptada en una película de 1971 con Jerry Orbach interpretando a Kid Sally Palumbo, un personaje basado en Gallo.

Basada en artículos periodísticos del reportero Nicholas Gage, la película fue dirigida por Carlo Lizzani y protagonizada por Peter Boyle como el personaje principal.

Gallo fue interpretado por Sebastian Maniscalco en la película del 2019 de Martin Scorsese El irlandés.