Entre los músicos con los que trabajó destacan Count Basie (para quien realizó arreglos en los años 50), Frank Sinatra y Shirley Horn.
Ganó también el premio Grammy a los mejores arreglos musicales en 1992 por Unforgettable de Natalie Cole y Nat King Cole y también en 1993 por "Here's to Life" de Shirley Horn.
Las más famosas composiciones de Mandel son Suicide Is Painless (tema principal de la serie y la película M*A*S*H), Close Enough for Love, Emily y A Time for Love.
Mandel y Paul Francis Webster colaboraron en la canción "The Shadow of Your Smile" del filme The sandpiper (Castillos en la arena), ganadora de un Óscar en 1965.
En cuanto al cine, entre las películas en que colaboró destaca ¡Quiero vivir!.