Tras realizar trabajos de lavaplatos y camarero, en 1955 fue elegido en una audición teatral para el Actors Studio.

Destaca, entre otras, en la década de los 60, su presencia en The Manchurian Candidate, junto a prominentes estrellas de la época, como Frank Sinatra o Janet Leigh.

La periodista Diane Haithman de la revista Variety describió el talante actoral de Silva del siguiente modo en 1985: El actor que amas odiar.

[2]​ En adelante, fue una presencia habitual en películas de acción, y en spaghetti-westerns rodados en Europa donde su fluidez en español e italiano, así como su instinto para papeles de tipos duros y realistas le facilitaron una larga carrera profesional continuada hasta comienzos del presente siglo.

[3]​[4]​ Silva se casó dos veces en la década de 1950; su tercer matrimonio, con Ruth Earl, duró desde 1966 hasta su divorcio en 1987.