Sus abuelos eran pastores metodistas, motivo por el cual John estuvo desde muy pequeño en contacto con los himnos y música de la iglesia.

Dos meses después de nacer, su abuelo materno, el reverendo William Blair, también líder político en su comunidad, fue nombrado regidor anciano de la A. M. E. Zion Church, por lo que la familia se trasladó a High Point, lugar donde crecería John.

El mismo año, Coltrane se unió a una orquesta de la comunidad en la que vivía y en la que tocó el clarinete y el bombardino en mi bemol; en su orquesta del instituto tocó ya el saxofón.

Coltrane tuvo varios empleos durante los años cuarenta (siendo saxo alto) hasta que se unió a la Big Band de Dizzy Gillespie en 1949.

Coltrane estaba libre en Filadelfia en el verano de 1955 cuando recibió una llamada del trompetista Miles Davis.

Este clásico primer quinteto es mejor representado por dos sesiones de grabación maratonianas realizadas para Prestige en 1956.

Luego volvió a unirse a Miles en enero de 1958, donde permaneció hasta abril de 1960, tocando habitualmente junto al saxo-alto Cannonball Adderley y el baterista Philly Joe Jones como un sexteto.

Durante su estancia con Miles, Coltrane había firmado un contrato con Atlantic Records, para quien grabó el disco Giant Steps.