Shapiro nació en la ciudad de Odesa que entonces pertenecía al imperio ruso.

Mientras estuvo en un albergue en Brooklyn, se hizo amigo de Joseph Valachi y Jimmy "The Shiv" DeStefano.

Durante este periodo, Shapiro conoció a su futuro socio, Louis "Lepke" Buchalter.

Impulsado por Rothstein, Shapiro y Buchalter entraron al lucrativo negocio de manejar los sindicatos trabajando para Jacob Orgen.

Dándose cuenta de que ambos eran una amenaza, Orgen se alió con los hermanos Eddie y Jack "Legs" Diamond.

Aunque se cree que el dúo empezó Murder, Inc., la iniciativa ya estaba en realidad prosperando cuando llegaron y se convirtieron en uno de sus principales clientes junto con el Sindicato nacional del crimen, una confederación de familias criminales creada por Luciano y Lansky en 1929.

Meses antes de su condena en 1944, Shapiro supuestamente contrabandeó una nota para Buchalter, quien estaba entonces en juicio por asesinato.

La nota simplemente decía "I told you so" (en español: "Te lo dije").