Acabó la guerra con el rango de sargento y volvió a los Estados Unidos para intentar continuar su carrera como actor.

[11]​ Al tiempo que estudiaba periodismo en la Universidad de Columbia, Matthau tomó clases en un taller dramático en The New School con el director alemán Erwin Piscator.

Matthau fue un actor de teatro respetado durante años en trabajos como Will Success Spoil Rock Hunter?

y A Shot in the Dark, por los que ganó el Premio Tony en 1962 al mejor actor.

Poco después, llegarían Sendas tortuosas (Ride a Crooked Trail) con Audie Murphy, y Onionhead (todas ellas 1958) protagonizado por Andy Griffith.

Uno de sus mayores papeles en esta época fue el del drama Un rostro en la multitud (A Face in the Crowd ) (1957), dirigida por Elia Kazan y con James Mason en Más poderoso que la vida (Bigger Than Life) (1956) dirigida por Nicholas Ray.

Posteriormente encarnaría al villano en King Creole (1958), una película para lucimiento de Elvis Presley.

También se sucedieron sus apariciones en televisión, incluidas dos episodios en la serie Naked City, cuatro cortos para Alfred Hitchcock Presents, y en el episodio A Tumble from a Tall White House de The Eleventh Hour (1963).

El director teatral Neil Simon lo elegiría para la obra de teatro La extraña pareja (The Odd Couple ) en 1965, en la que Matthau interpretaría al periodista deportivo Oscar Madison, mientras que Art Carney encarnaba a Felix Ungar.

[13]​ Matthau repetiría el mismo rol en la versión cinematográfica, junto a Jack Lemmon tres años después.

Simon recordaría más tarde: Por otro lado, Matthau comentaría sobre su papel en esta obra: Ese año interpretaría a Ted Casselle en el thriller Espejismo (Mirage) (1965), de Edward Dmytryk.

Este papel le dio el Óscar al mejor actor de reparto.

[15]​ El inicio de los 70 volvió con otra nominación para los Oscar por Kotch (1971), dirigida por Lemmon.

En la segunda mitad, volvió con éxito a las comedias, destacando de forma especial La pareja chiflada (The Sunshine Boys) (1975), donde consiguió otra nominación al Óscar y por el que ganó el Globo de Oro al mejor actor de comedia[20]​ y el reecuentro con Lemmon y Wilder en Primera plana (Front Page) en 1974.

Matthau intentó producir algunas películas de Universal Pictures con su hijo Charlie, que crearon la compañía Walcar Productions, pero tan solo produjeron una película: el tercera remake de El truhán y su prenda (Little Miss Marker ) (1980).

También es autor de la última escena del film, donde Kendig, presuntamente muerto, se disfraza como un Sikh para entrar en una librería, todo sazonado.

[25]​ Ese mismo año, se estrenaría la tercera y última colaboración Wilder-Lemmon-Matthau con Aqui un amigo con poco éxito.

Dos años más tarde, volverían a embarcarse en otro proyectos juntos con Por rumbas y a lo loco (Out to Sea) (1997) y la secuela de La pareja chiflada La extraña pareja, otra vez (The Odd Couple II) (1998).

John's Health Center en Santa Mónica donde murió pocas horas después a la edad de 79 años.

Estuvo casado dos veces; primero con Grace Geraldine Johnson de 1948 a 1958 y luego con la actriz Carol Marcus, también conocida como Carol Grace y anteriormente casada con el escritor William Saroyan, desde 1959 hasta que este murió en 2000.

Una vez estimó que aproximadamente había perdido en unos 5 millones de dólares en juego durante toda su vida.