[1]​ Su madre, Dorothy Shorr, era agente de seguro, y su padre, Louis Cohen, hacía sombreros.

[5]​ Hizo su debut como actor teatral en el circuito de Broadway en 1938 actuando en Coriolano.

Randolph sirvió en las Fuerzas Aéreas del Ejército de los Estados Unidos durante la Segunda Guerra Mundial, debutando tras la guerra en el cine con un pequeño papel en la cinta The Naked City (1948).

Él y su esposa, la actriz Sarah Cunningham, fueron incluidos en la lista negra de Hollywood a partir del año 1948.

En 1955 ambos fueron llamados a declarar ante el Comité de Actividades Antiestadounidenses para testificar sobre la infiltración comunista en la industria estadounidense del entretenimiento.

[7]​ En los años 70 hizo tres actuaciones como Cornelius "Junior" Harrison en The Bob Newhart Show.

Fue estrella especial invitada en el telefilm emitido en 1986 por ABC The Right of the People, haciendo el papel de Jefe de Policía Hollander.