Nacido en Mickleton, Gloucestershire.
Estudió en la escuela de Abingdon-on-Thames y en el Pembroke College de Oxford; fue fellow del All Souls College en Oxford y rector de Claverton, cerca de Bath, así como un entusiasta coleccionista de poemas y traductor, ensayista y corresponsal.
Su mejor obra es la novela picaresca The Spiritual Quixote (1773).
Sirvió como capellán de Mary Townshend, Condesa de Chatham, y como tutor privado de Thomas Malthus.
Fue amigo íntimo de William Shenstone, Ralph Allen y William Warburton.