Clifton James estuvo sirviendo en la Armada estadounidense durante cinco años en el transcurso de la Segunda Guerra Mundial.
Hizo su debut en Broadway, en la obra teatral The Cave Dwellers.
Clifton estuvo en la longeva serie de televisión estadounidense Bonanza, que empezó a emitirse en 1959.
Actuó como el sheriff Oliver Chauncey en El expreso de Chicago y también apareció en Superman II.
Apareció en la película The Untouchables, con Robert De Niro y Sean Connery entre otros.