Durante su infancia en Polonia quería convertirse en músico, aunque luego estudió derecho en Viena.

Trabajó después en Alemania junto con Billy Wilder y Robert Siodmak, también principiantes; los tres intervinieron en Los hombres del domingo (1929).

Zinnemann se basó en el realismo para realizar su primer corto de ficción Redes (1935), rodado en México e interpretado por actores no profesionales.

Tras ser despedido del rodaje de El reloj (1945) por diferencias con la actriz Judy Garland —la película la terminaría Vincente Minnelli—, realizó el melodrama Little Mister Jim (1946) y la comedia My brother talk to horses (1947), que fueron el preludio del título que lo convirtió en director de primera fila, Los ángeles perdidos (1948), drama bélico con tono casi de documental que sirvió para descubrir a Montgomery Clift.

Con este título, por el cual Foreman fue nominado al Óscar, Zinnemann exhibía su excelente tacto para definir sentimientos y psicologías.

En 1951, rodó Teresa (1951), un drama con Pier Angeli y John Ericson, el director ganaría su primer Óscar con el documental Benjy (1951), un corto narrado por Henry Fonda sobre un niño con graves problemas físicos desde su nacimiento.

En 1966, tuvo un resonante éxito con A Man for All Seasons, película histórica escrita por Robert Bolt y protagonizada por Paul Scofield en el papel de Tomás Moro.