En 1766, se le elevó el título a ducado, y el 28 de junio de 1784, fue creado barón Lovaine con una cláusula especial para que le heredase su hijo menor, Algernon.[2] Thomas Chippendale dedicó su Gentleman & Cabinet maker's director (1754)a él.Los duques fueron patrones de Robert Adam, a quien le encargaron los interiores de Northumberland House, su mansión jacobina neoclásica, su asentamiento en Londres; fue demolida entorno 1870–1871 para que se levantase Trafalgar Square.En el castillo de Alnwick, Northumberland, emplearon a James Wyatt, cuya labor fue alterada en reformas posteriores.[3][4] El duque tuvo un hijo ilegítimo con Elizabeth Hungerford Keate Macie, James Smithson (1765–1829), quien fundó y dio nombre al Instituto Smithsoniano, en Washington D. C..[6]
Northumberland Row, lugar donde se encontraba el asentamiento de los Smithson.
