Por sus conexiones familiares y gracias a su propia influencia, trabajó como secretario del Príncipe de Gales, Federick (1737 en adelante), y como Comisionado del Tesoro en 1744, cargos que le valieron el aprecio de los opositores a Walpole.
Tras la caída del gobierno Walpole, Lyttleton fue nombrado en 1755 Chancellor of the Exchequer (Canciller del Tesoro, i.e., ministro de Hacienda).
En vida, recibió las alabanzas de muchos poetas e intelectuales ingleses: James Thomson, por ejemplo, lo alabó en su poema Las Estaciones, y Lyttleton, en agradecimiento, le consiguió una pensión gubernamental.
El doctor Samuel Johnson, en cambio, los despreciaba por ser un whig (aunque era en realidad un tory) y criticaba su prosa como "plomiza" y sus versos como carentes de imaginación.
Buena parte de su vida y fortuna la dedicó a construir y mejorar su mansión y jardines de Hagley Hall; dicha mansión, sita en el norte del condado de Worcester, fue diseñada por el arquitecto Sanderson Miller, y es una de las últimas mansiones inglesas construida en estilo paladiano.