Su padre John Barton había sido miembro del Comité para la abolición del comercio de esclavos junto a William Wilberforce.
Fue educado en una escuela cuáquera en Ipswich, y pasó casi toda su vida en Woodbridge trabajando como oficinista en un banco.
Sus principales obras incluyen The Convict's Appeal (1818), una protesta contra la severidad del código criminal de la época, y Household Verses (1845), que llegó a ser reconocido por Sir R. Peel, quien le otorgó una pensión de £100.
Hoy en día gran parte de su obra ha sido olvidada, a excepción de una variedad de sus himnos cristianos; que incluyen Lamp of our feet, whereby we trace, Walk in the light, so shalt thou know, Fear not, Zion's sons and daughters, Hath the invitation ended?, See we not beyond the portal?, Those who live in love shall know.
Su hija Lucy se casó con el poeta Edward FitzGerald, (traductor de Omar Jayyam), quien más tarde publicaría una selección de sus poemas y cartas.