Su tío Pat era Blacky the Bootblack, personaje a quien el político Joseph P. Kennedy mencionó como la principal influencia que le llevó a vender todas sus acciones en el verano de 1929, año en el que se produjo el crac del 29 en octubre.

Por otro lado, su tía Pauline fue una conocida jefa de cocina que trabajaba para varios actores de renombre como Jackie Gleason, Burt Reynolds y demás.

Otros trabajos notables del actor fueron en los años 1980 por interpretar al temperamental Stan "King" Kaiser de los años 1950 en My Favourite Year y en 1999 a Lenny Koufax en Un papá genial, donde trabajó con Adam Sandler.

En 1965 contrajo matrimonio con Renée Taylor, con la que tuvo un hijo llamado Gabriel.

Durante sus respectivas carreras, ambos coincidieron en obras teatrales y programas televisivos.