Nacido en Praga, Passer asistió al internado King George en Poděbrady y compartió clases con los futuros cineastas Miloš Forman, Jerzy Skolimowski y Paul Fierlinger o el estadista Václav Havel.

[1]​ He began his career as an assistant director on Ladislav Helge's Velká samota.

En 1965, dirigió su primer largometraje, "Iluminación íntima", que es considerada por algunos como su obra maestra.

Passer fue el encargado de realizar películas interesantes como Nacido para ganar (1971), un drama protagonizado por George Segal y Karen Black,[6]​ o El camino de Cutter (1981), un thriller con Jeff Bridges y John Heard como protagonistas.

Más adelante en su carrera, dirigió numerosas películas para televisión, entre las que destaca la premiada biopic " Stalin" (1992) protagonizada por Robert Duvall para HBO.