Aquello le valió su primer papel en Broadway como protagonista en la obra de Carl Reiner Enter Laughing, que le hizo ganar el Premio Tony, uno de los más prestigiosos del teatro estadounidense.

En 1998 dirigió, protagonizó y fue coguionista con Elaine May de la producción Power Plays en el Teatro Promenade.

Su debut en el cine se produjo con la película ¡Que vienen los rusos!, en 1966, con la que consiguió sendas nominaciones para el Óscar al mejor actor y el Globo de Oro.

En 2006 ganó el Óscar, como actor de reparto, por su papel en Pequeña Miss Sunshine (2006), nominada también a la mejor película.

Fue actor invitado dando vida al padre del que en vida real es su hijo, Adam Arkin, en Chicago Hope (1997), que también le proporcionó otra nominación a los Emmy, y asimismo apareció en Varian’s War (2001), de Showtime, y en la producción de HBO, And Starring Pancho Villa as Himself (2003), con Antonio Banderas.