Luego de participar en otras películas, en 1971 trabajó en dos populares filmes, Klute del director Alan J. Pakula y The French Connection del director William Friedkin —en este último logró una nominación al Oscar al mejor actor de reparto—, los cuales lo consagraron como actor cinematográfico.

Esta película se convirtió en la más taquillera de todos los tiempos hasta esa fecha; su frase "Necesitará otro barco más grande" (You're gonna need a bigger boat) fue elegida la 35.ª mejor en la historia del cine por el American Film Institute.

Sus películas más recientes fueron The Good War, también conocida como Texas '46, producción ítaloestadounidense en la que Scheider interpretaba al coronel John Gartner, jefe de un campo de prisioneros en Texas, y The Punisher (2004) donde interpretaba al malhumorado padre del héroe Frank Castle.

Otras películas que también cabe destacar en la filmografía de Scheider son Blue Thunder (John Badham, 1983), 2010: The Year We Made Contact (Peter Hyams, 1984), 52 vive o muere (John Frankenheimer, 1986), La casa Rusia (Fred Schepisi, 1990), Romeo is Bleeding (Peter Medak, 1993) y The Good War (Georgio Serafini, 2001).

A Scheider le ofrecieron los papeles protagonistas de The Deer Hunter y La profecía, papeles que finalmente recayeron en Robert De Niro y Gregory Peck.