Asistió a la Universidad Carnegie Mellon donde se graduó en 1948.
Klugman protagonizó varias películas clásicas como 12 Angry Men (1957), Days of Wine and Roses (1962) y Goodbye, Columbus de (1969).
También es conocido por sus papeles en comedias, para el cine el teatro y la televisión.
Klugman es conocido por su papel del compañero de apartamento de Tony Randall, Oscar Madison, en la comedia escrita por Neil Simon The Odd Couple, que se emitió en la televisión estadounidense durante la década de 1970, y por su papel protagonista en Quincy, M.E., 1976–1983.
En 1993 protagonizó junto a Tony Randall la película The Odd Couple: Together Again, donde interpreta nuevamente el papel de Oscar Madison.