Comenzó aprendiendo a tocar el clarinete en una banda militar (1944), pasando después a tocar en diversas big bands, como las de Jimmy Dorsey o Buddy Rich, uniéndose en 1949 a los Second Herd de Woody Herman.

En los años 50, participa activamente en la escena de la Costa Oeste, trabajando con los Giants de Shorty Rogers o con sus propios grupos, que incluían a gente como Bob Brookmeyer, Jim Hall o Pee Wee Russell.

En los años 60, Giuffre milita, como casi todos, en el free jazz, colaborando con Carla Bley y Steve Swallow, y permaneciendo en Francia casi cinco años.

Los periodos más fructíferos de Giuffre, son sus grabaciones para Atlantic Records (1956-1958) y para Verve (1959-1961).

Junto con obras como The train and the river (1958), su música adquiere un valor de intemporalidad simbólica, constituida por alientos bluesy, down home y folkies.