[2]​ Está emparentado con el actor italiano Marcello Mastroianni, pues su madre era prima del abuelo de éste.

Debutó como actor teatral en el circuito de Broadway con la obra Moon Over Mulberry Street en 1939, participando a continuación en funciones como Night Music y Walk Into My Parlor.

Su carrera prosperó durante la Segunda Guerra Mundial, época en la que muchos actores de Hollywood se encontraban alistados.

También hizo un primer papel junto a Susan Hayward en la producción de 1955 I'll Cry Tomorrow (Mañana lloraré), un biopic sobre la cantante y actriz Lillian Roth.

Conte finalmente viajó a Europa, donde actuó en numerosas producciones hasta el momento de su muerte.

En 1973 se casó con su segunda esposa, Shirlee Garner, permaneciendo la pareja unida hasta la muerte de Conte.