Su hermano pequeño era Christopher Wordsworth, Obispo de Lincoln.

Estudió en Harrow School, donde hizo amistad con Charles Merivale y Richard Chenevix Trench, y en el college Christ Church de la Universidad de Oxford.

Viajó al extranjero entre 1833 y 1834, trabajó como tutor en el Christ Church al año siguiente y después en el Winchester College.

En 1846 aceptó el rectorado del Glenalmond College, puesto en el que permaneció desde 1847 hasta 1854.

Se casó en dos ocasiones, primero en 1835 con Charlotte Day, fallecida cuatro años después, y segundo en 1846 con Katherine Mary Barter, con las que tuvo trece hijos.