Su tío Barney Balaban fue presidente de Paramount Pictures por casi 30 años, desde 1936 a 1964.

Sam formó Balaban and Katz junto a los tíos de Bob: Abe, Barney, John y Max.

Es judío[4]​ y sus abuelos paternos inmigraron a Chicago provenientes de Rusia.

Balaban tuvo papeles secundarios en películas como Absence of Malice, Bob Roberts, Deconstructing Harry, Ghost World, The Majestic, Lady in the Water y en todas las películas de Christopher Guest: Waiting for Guffman, Best in Show, A Mighty Wind y For Your Consideration.

En 1999 apareció como invitado en la serie Friends, interpretando a Frank Buffay, el padre de Phoebe, en el capítulo "The One With Joey's Bag".