Galabru era hijo de Yvonne Payré y Paul Galabru (1892-1988), un ingeniero civil de la Escuela nacional de puentes y calzadas (ENPC).

En 1950 debutó en la prestigiosa Comédie-Française, donde interpretó a Shakespeare, Molière, Marivaux, Feydeau, Courteline, Jules Romains, entre otros.

Trabajó con directores como Bertrand Blier, Costa-Gavras, Luc Besson y Jean-Luc Godard.

También era conocido por sus colaboraciones con Louis de Funès en El gendarme de Saint-Tropez, Le gendarme se marie, Le Gendarme et Les Extra-Terrestres, Le Gendarme en balade, Le Gendarme à New York, Le Gendarme et les Gendarmettes, Le Petit Baigneur y Nous irons à Deauville.

En 1977, ganó el Premio César al mejor actor por su papel en la película El juez y el asesino.