Siendo uno de los entrenadores más reconocidos, Silvani entrenó a más de veinte campeones mundiales,[1]​ incluyendo a Jake LaMotta, Henry Armstrong, Carmen Basilio, Fritzie Zivic, Pone Kingpetch, Rocky Graziano, Rocky Marciano, Ingemar Johansson y Lou Ambers.

[1]​ Silvani consideraba que Sinatra tenía potencial como boxeador, pero le sugirió que se alejara del ring: «Un golpe en la nuez de Adán chico y te despides de tu carrera como cantante», le advirtió.

Posteriormente, Silvani se transformó en amigo y guardaespaldas del cantante.

[2]​ Tuvo una amplia carrera en la industria del cine, doble de riesgo y como consultor técnico.

[1]​ También entrenó a Paul Newman para el papel de Rocky Graziano en Somebody Up There Likes Me (1956) y a Robert De Niro para el papel de Jake LaMotta en Toro salvaje (1980).