Se inicia en cursos organizados por Stan Kenton y Joe Daley (1961-1962).

Inmediatamente comienza a tocar con grupos de jazz locales, con Eddie Harris y Oscar Brashear, y graba su primer disco en 1967.

Después se instala en Los Ángeles, donde toca en la big band de Don Ellis (1968) y, luego, con Oliver Nelson, Alice Coltrane y The Crusaders.

Realiza actuaciones por todo el país y por Europa (Antibes Jazz Festival, Festival de Jazz de Montreux de 1973) con su propio grupo, que incluía a Cecil McBee y Alphonse Mouzon.Graba como líder un gran número de discos, en los que realiza fusiones con músicas como el rock, el hip hop y otras.

Klemmer posee un sonido de tenor, a la vez redondo e intenso,[1]​ utilizando frecuentemente elementos electrónicos, en especial el echoplex, para modificarlo, práctica que adquirió en su época con Don Ellis y que se adecúa perfectamente al estilo de su jazz fusion.