La primera banda de Phillips fue The Journeymen, un trío dedicado a la música folk.

Tiempo después, durante el American folk music revival, conoció a Denny Doherty y Cass Elliot y en un tour por California, a Michelle Gilliam, con quien se casó en 1962.

Después de firmar contrato con Dunhill Records tuvieron numerosos hits en el top ten de Billboard, tales como: California Dreamin', Monday, Monday, I Saw Her Again, Creeque Alley, 12:30 (Young Girls Are Coming to the Canyon) y Words of love.

En 2009, su hija Mackenzie Phillips publica una autobiografía, titulada High on Arrival, donde se narra que el propio John la introdujo en el mundo de las drogas.

[1]​ La relación terminó cuando Mackenzie quedó embarazada (sin saber quien era el padre biológico de su hijo) y exigió a John pagarle un aborto.