Pasó su infancia en San Luis (Misuri), donde, desde muy joven, entró en contacto con el movimiento cultural generado alrededor del el Río Misisipi, cuya influencia dio forma a gran parte de su carrera musical.

[6]​ En 1967, el segundo álbum de Hartford, Earthwords & Music, generó su primer gran éxito como compositor, "Gentle on My Mind".

Su grabación tuvo un éxito modesto, pero llamó la atención de Glen Campbell, quien grabó su propia versión, lo que le dio a la canción una difusión mucho más amplia.

Records, donde se le dio más libertad para grabar en su estilo no tradicional, al frente de una banda que incluía a Vassar Clements, Tut Taylor y Norman Blake.

Grabó varios álbumes que marcaron la pauta de su carrera posterior, incluidos Aereo-Plain y Morning Bugle.

[5]​ Grabó varias canciones para la banda sonora de la película O Brother, Where Art Thou?, ganando otro Grammy por su actuación.

El festival anual John Hartford Memorial se lleva a cabo en el Bill Monroe Music Park & Campground, cerca de Beanblossom (Indiana).