El matrimonio tuvo diecisiete hijos, de los cuales solo sobrevivieron seis, tres varones y tres mujeres; Joe fue el segundo; uno de sus hermanos terminó internado en un manicomio; otro fue un vagabundo que fue atropellado por un coche.

[2]​ Hacía frecuentes novillos, y fue expulsado del colegio católico por apedrear en un ojo a una profesora.

Por eso solo llegó al séptimo grado, e ingresó en un correccional igualmente católico, el Instituto Tutelar Católico de Nueva York, de donde salió a los catorce años.

Sobre esa experiencia escribió: Al principio se dedicó a robar tiendas por el procedimiento del alunizaje (reventar escaparates con impactos de objetos o coches): él conducía los coches.

Durante la guerra solo tenía la categoría de "propuesto" o "postulante" a Cosa Nostra, y tenía que pasar periódicamente una evaluación; cuando terminó, pasó a ingresar en la familia de Lucky Luciano, y trabajó como sicario para él.

Tras lo ocurrido en Apalachin y el testimonio de Valachi, la mafia ya no era invisible al público.

En 1966, Valachi intentó ahorcarse en su celda de la prisión con un cable eléctrico que se había agenciado.

En 1972 se estrenó una película homónima protagonizada por Charles Bronson, titulada en español Los secretos de la Cosa Nostra, que interpreta a Valachi.