Sufrió períodos de severa depresión, y aunque encontró refugio en un ferviente Cristianismo evangélico, la fuente de sus muchos himnos, a menudo experimentó dudas y temores de que estaba destinado a la condena eterna.

Sin embargo, sus motivaciones religiosas y asociación con John Newton (quien escribió el himno "Amazing Grace") le llevaron a crear la poesía por la que es hoy en día más recordado: los himnos religiosos.

Además, escribió poesía de carácter social y filosófico.

Los puritanos le llamaban "el David de la poesía inglesa" [cita requerida].

Robert Southey compuso una bella edición de sus obras, junto a su biografía, en 1854.