Nacido en Hatfield, Hertfordshire, Reino Unido,[1]​ y crecido en Hampstead, al noroeste de Londres.

Carthy actuó por primera vez como profesional a los 16 años en The Loft, un café bar de Primrose Gardens.

A principios de los años sesenta fue residente del club folclórico The Troubadour, en Earls Court,[2]​ después de que su amigo Robin Hall le convenciera para que lo visitara y escuchara al gaitero Seamus Ennis.

En 1961 se unió a Redd Sullivan's Thameside Four como guitarrista y cantante de skiffle.

En 1964, Carthy se unió a Marian Mackenzie, Ralph Trainer y Leon Rosselson en el grupo The Three City Four.

Fue nombrado cantante folclórico del año en los BBC Radio 2 Folk Awards en 2002, y de nuevo en 2005, cuando también ganó el premio al mejor tema tradicional por Famous Flower of Serving-Men.