Sus dos hermanos fueron médicos: Hugh, que murió en un accidente de moto en 1961, y Robert, psiquiatra en Nueva York.

O'Connor pasó gran parte de su juventud en Elmhurst y Forest Hills, Queens, donde más tarde viviría su personaje Archie Bunker.

[3]​ Después del High School en 1942, se unió a la Marina Mercante y trabajó en barcos en el Atlántico.

Durante una de sus producciones amateur, conoció a Nancy Fields (nacida en 1929), que más tarde se convertiría en su esposa.

O'Connor apareció en varias películas de estudio en los años sesenta y principios de los setenta, como Lonely Are the Brave (1962), Cleopatra (1963), In Harm's Way (1965), What Did You Do in the War, Daddy?

(1966), Warning Shot (1967), Point Blank (1967), The Devil's Brigade (1968), For Love of Ivy (1968), Death of a Gunfighter (1969), Marlowe (1969), en 1970 interpretó el papel del General Colt, en el clásico Kelly's Heroes con Clint Eastwood y Doctors' Wives (1971).

El actor Martin Sheen, entonces protagonista de The West Wing, pronunció el panegírico.