En 1956 pasó al Jazz, incorporándose al grupo de James Moody, en el que toca de 1956 a 1958, y después toca con la orquesta de Gil Evans entre 1958 y 1964, incluyendo el álbum de Miles Davis, Sketches of Spain.
Después pasó un tiempo con Charles Mingus en su sexteto, que también incluyó a Eric Dolphy, Clifford Jordan, Jaki Byard, y Dannie Richmond.
Luego toca con Herbie Hancock (1968-1969), Ray Charles (1969-1971), Duke Ellington (1971-1974), Art Blakey (1976), Dameronia, Mingus Dynasty, y la Count Basie Orchestra, bajo la dirección de Thad Jones (1985-1986).
Coles, apodado "el Pequeño Johnny C", grabó como líder varias veces en el transcurso de su carrera.
Con Geri Allen Con Tina Brooks Con Gil Evans Con Booker Ervin Con Astrud Gilberto Con Grant Green Con Herbie Hancock Con Charles Mingus Con James Moody Con Horace Parlan Con Duke Pearson Con A. K. Salim