Su padre emigró a los Estados Unidos desde Palermo, Sicilia, Italia y administró una barbería en el Lower East Side de Manhattan.

[2]​ Cuando era un adolescente, su familia se mudó a Nueva Jersey luego de comprar una pequeña granja.

En 1943, su familia abandonó la granja y se mudó al barrio de Bath Beach en Brooklyn.

[3]​ Luego de regresar a Nueva York, Gaggi decidió involucrarse en actividades criminales.

Eventualmente Scalise le permitía ser un "empleado fantasma", alguien que recibía un sueldo pero no realizaba ningún trabajo.