Su infancia transcurre en California, donde empieza a tocar la trompeta con sólo nueve años.

Tras sucesivas crisis nerviosas, se diagnostica como esquizofrénico en 1967,[1]​[2]​ y desde entonces, permanece en continuo tratamiento.

En 1983, se incorpora al cuarteto de Phil Woods, con quien permanecerá hasta 1988.

Desde 1989, Harrell dirige sus propias formaciones como líder, especialmente el quinteto que mantiene entre 1996 y 2003, registrando un buen número de álbumes para RCA / BMG.

[3]​ Jamey Aebersold,[4]​ Sher Music,[5]​[6]​ y "Gerard and Sarzin".