Tavernier nació en Lyon, hijo de Geneviève (nacida Dumond) y René Tavernier, un publicista, escritor y durante muchos años presidente de la PEN Club Internacional francesa.

Según Tavernier, su padre creía que las palabras eran «tan importantes y letales como las balas».

[3]​ Su primer trabajo en el mundo de cine fue junto a Jean-Pierre Melville.

[6]​ Cuatro años después, su película Hoy empieza todo ganó la mención en el Berlinale de 1999.

Su hijo, Nils Tavernier (1965), trabajó junto a su padre como director y actor.