[2]​ O'Herlihy debutó en Hungry Hill y en el filme de Carol Reed Larga es la noche en 1947.

O'Herlihy trabajó posteriormente en The Young Land (1959) encarnando al juez Millard Isham.

En 1963-1964 actuó en la serie western The Travels of Jaimie McPheeters, junto a Kurt Russell.

En la segunda parte del episodio de Battlestar Galactica (1978) "Gun on Ice Planet Zero" fue el Dr. Ravishol.

En 1998 O'Herlihy actuó en su último film, The Rat Pack, interpretando a Joseph P. Kennedy.