La pareja tuvo una hija, Frances (antes de 1654 - 1716) , quien se casó con Sir George Hungerford, con quien tuvo al menos seis hijos.
[1][2] Se volvió a casar en 1654, con Elizabeth Alington (1635 - 1691), hija de William Alington, I barón Alington de Killard (14 de marzo de 1610/1611 - c. octubre de 1648); ellos tuvieron tres hijos.
Uno de sus descendientes más importantes fue su tataratataranieto, James Smithson, a través de su hija Frances; también desciende de esta el poeta George Keate.
Los dos hijos con su segunda mujer, Francis y Charles, heredaron sucesivamente el ducado de Somerset, el cual había pertenecido a su tío William Seymour, II duque de Somerset; lo mismo aconteció con la baronía.
Su hija, Honora Seymour, se casó con Sir Charles Gerald, III Baronet.