En los años siguientes participó en otras películas ya clásicas, como La jauría humana y Bullitt, pero su verdadero salto a la fama fue cuando interpretó al personaje de Tom Hagen en El padrino (1972) y El padrino II (1974).

También fue candidato al Óscar, pero en la categoría de mejor actor por The Great Santini, conocida en español como El don del coraje (1980), y The Apostle (1997), y lo ganó en 1984 por su papel en Tender Mercies.

Se graduó en Arte Dramático en el Principia College de Elsah (Illinois) en 1953.

Fue criado en esta religión y ha declarado que aunque no asiste a la iglesia, esas son sus creencias.

[11]​[12]​ Duvall dijo de aquella época, "era terrible en todo excepto en la actuación: apenas podía terminar la escuela".

Pudo entrar en el elenco gracias a la recomendación del guionista Horton Foote, que coincidió con Duvall en el Neighborhood Playhouse durante la producción de 1957 The Midnight Caller.

Entre sus papeles más importantes se incluyen el de Capitán Paul Cabot Winston en Capitán Newman (1963), Nestor en El detective (The detective) (1968) y Gordon en Llueve sobre mi corazón (The Rain People), la primera colaboración con Francis Ford Coppola.

Centra muchas de las miradas por su interpretación del Mayor Frank Burns en la película MASH y por protagonizar THX 1138 en 1971 donde interpreta a un fugitivo que intenta escapar de una sociedad controlada por robots.

Su carrera interpretativa dio un giro transcendental en 1972 cuando encarnó a Tom Hagen en El padrino (The Godfather) (1972) y El Padrino II (The Godfather Part II) (1974).

Así, lo pudimos ver en 1976, en películas como Ha llegado el águila (The Eagle Has Landed) y como Dr. Watson en Elemental, Doctor Freud (The Seven-Per-Cent Solution) con Nicol Williamson, Alan Arkin, Vanessa Redgrave y Laurence Olivier.

[33]​ Duvall recibió otras nominación al Óscar y ganó el Premio BAFTA y el Globo de Oro por su interpretación del teniente coronel Kilgore en Apocalypse Now (1979).

Tres años después, consiguió su primera nominación al Óscar al mejor actor por El don del coraje (The Great Santini) (1979) como el duro e implacable teniente coronel "Bull" Meechum.

Alternando con el cine, en 1977 Duvall volvió a Broadway para aparecer en la obra American Buffalo de David Mamet, diciendo "espero que esto me consiga mejores papeles en películas".

"[31]​ La actriz Tess Harper, coprotagonista en el film, dijo que Duvall se hizo propio el personaje tan completamente que solo llegó a conocer a Mac Sledge y no al propio Duvall.

El director añadió "Duvall tiene la capacidad de sentir por completo a la persona que está actuando.

Se convierte total y completamente en esa persona hasta un grado que es asombroso.

En 1989, Duvall apareció en la miniserie Paloma Solitaria (Lonesome Dove) en el papel de Capitán Augustus "Gus" McCrae, Texas Rangers.

Al año siguiente, recibiría otra nominación, en esta ocasión como mejor actor de reparto con A Civil Action (1998).

Consiguió el Globo de Oro al mejor actor - Miniserie o telefilme y una nominación a los Emmy en la misma categoría por su interpretación del líder soviético Iósif Stalin en el telefilm de 1992 Stalin.

[38]​ y fue premiado con la Medalla Nacional de las Artes en 2005 por el Presidente George W. Bush en la Casa Blanca.

[39]​ En 2014, protagonizó en El juez (The Judge) junto a Robert Downey Jr.. A pesar de que la película recibió críticas ambivalentes,[40]​ la interpretación de Duvall fue aclamada unitariamente.

A sus 84 años, Duvall se convirtió en el actor de más edad en conseguir una nominación al Óscar en este apartado,[41]​ superando a Christopher Plummer, que ostentaba ese honor.

En 2018, apareció en el thriller dirigido por Steve McQueen Viudas (Widows) como un corrupto.

[43]​ En otra ocasión dijo, "[Lo he intentado] con muchas mujeres, dentro y fuera del matrimonio.

[44]​ Ella aparecería en Guys and Dolls (1955) y The Courtship of Eddie's Father (1963) con el nombre artístico de Barbara Brent[45]​ y tenía dos hijas de un matrimonio anterior.

Su tercer matrimonio fue con la bailarina Sharon Brophy, matriomonio que duró de 1991 a 1995.

[47]​ Se conocieron en Argentina, donde el actor recuerda, "La floristería estaba cerrada por lo que fui a la panadería.

[49]​ Es gracias a ella que domina el español con fluidez y tiene una casa en Argentina, que visita varias veces al año[30]​ y es un diestro bailarín de tango, donde tiene una academia de tango en Estados Unidos.