Se trasladó a Nueva York en 1958, donde compartió vivienda con Eric Dolphy (con quien además grabaría en 1960), y estuvo en los grupos de Philly Joe Jones (1958-1959), Sonny Rollins, Slide Hampton y J.J.

Grabó con John Coltrane, participó en 1960 en el disco Free Jazz de Ornette Coleman, estuvo en el disco de Oliver Nelson Blues and the Abstract Truth y comenzó a grabar como líder para Blue Note ese mismo año.

Grabó Ascension con Coltrane (1965), Out to Lunch (1964) con Eric Dolphy y Maiden Voyage con Herbie Hancock y, tras un periodo con Max Roach (1965-1966), lideró su propio quinteto, que contaba con el saxo alto James Spaulding.

En 1970, Freddie Hubbard grabó dos de sus mejores discos (Red Clay y Straight Life) para la CTI.

El siguiente, First Light (1971), sigue siendo su registro más popular; los arreglos son de Don Sebesky.