En 1964 participó brevemente con la Duke Ellington Orchestra, estudiando después en la Temple University, entre 1965 y 1971, grabando en este periodo con Pat Martino (1968).
Desde 1971 a 1975, trabajó con Woody Herman, tocando después con Harold Danko (1975) y la Thad Jones/Mel Lewis Orchestra (1975-77).
En 1977 estuvo en el grupo de Chuck Israels y, entre ese año y 1978, con la banda de jazz-rock Blood, Sweat & Tears.
Herbert murió de una sobredosis en Ámsterdam, durante una gira con Blood, Sweat & Tears, que se separaron tras su fallecimiento.
Nunca grabó una sesión como líder.