Durante la ley seca actuó como matón a sueldo de diversas bandas.
Abe "Kid Twist" Reles y Allie "Tick Tock" Tannenbaum, acordaron testimoniar contra Carbo, pero Reles se suicidó, aparentemente, lanzándose por una ventana del Hotel Half Moon en Coney Island, con lo que el caso quedó aplazado provisionalmente.
En 1947 se rumoreó que Carbo había amañado el triunfo de Bugsy Siegel en Las Vegas.
Tras su libertad en 1960, fue obligado a presentarse ante un comité de investigación del Senado.
Cuando se le preguntaba su responsabilidad en el amaño de combates de boxeo respondía: "No puedo ser obligado a testificar contra mí mismo", una afirmación que llegó a repetir 25 veces.