Hijo de padres actores, a los seis años debutó en el teatro.
En el cine su primer papel sería en la película La dalia azul en 1946 basada en la novela de Raymond Chandler.
Sus rasgos duros y afilados le llevaron a interpretar diversas películas de ambiente boxeístico como Más dura será la caída junto a Humphrey Bogart, que se convirtió en su amigo personal.
Con Alfred Hitchcock rodaría en 1956 The Wrong Man y participaría en grandes producciones como Espartaco de Stanley Kubrick.
Trabajó también a su lado cómico en tres películas con su amigo Jerry Lewis y, en total, interpretó a más de ciento cincuenta personajes distintos en cuarenta años de profesión.