Macaulay lo describió como un hombre cuyo "orgullo por nacimiento y rango eran casi enfermedad".
Charles fue educada en Harrow School and Trinity College, Cambridge,[1] en cuya colección persiste el retrato que le hizo Nathaniel Dance-Holland.
En 1660, tras la Restauración, el padre del cuarto duque, un comandaste realista durante la Guerra Civil, había conseguido que restaurase el ducado creado para su bisabuelo Edward Seymour, I duque de Somerset (ejecutado en 1552).
Una imagen similar es incluida en el fresco del Grand Staircase de Petworth, por Louis Laguerre.
[7] Horace Walpole se refirió a la reconstrucción como " al estilo de las Tullerías".
En 1739, el duque se convirtió en el gobernador fundador del Hospital Foundling de Londres, el primer hogar para expósitos, después de que su segunda esposa, Charlotte Finch (1711–1773), fuera la primera en firmar la petición de su fundador, el capitán Thomas Coram, al rey Jorge II.
En una ocasión, se refirió a ella indebidamente y esa le golpeó con una abanico, a lo que respondió: "Señora, mi primera esposa fue una Percy y nunca se tomo tanta libertad".
Charles sentía una "ferviente aversión por Smithson"[18] por no ser suficientemente aristocrático para heredar el patrimonio de los Percy, en lo que Algernon discernía y estaba dispuesto a nombrar a su yerno para el puesto.