Mandó remodelar Rose Castle, sede episcopal de Carlisle a Thomas Rickman, quien remodeló la residencia en su totalidad; la mayor parte del costo corrió a cargo de las arcas episcopales, pero el obispo pagó de sus ingresos los jardines, alrededores y dependencias exteriores.
Murió en Rose Castle y fue enterrado en el cementerio municipal de Darlton.
Percy se volvió a casar en febrero de 1840 con Mary, hija del vicealmirante William James Hope-Johnstone.
Su hijo mayor, Algernon, mayor en la guardia de Shropshire, se casó con Emily, hija del obispo Reginald Heber y heredera del parlamentario Richard Herber; por esto Algernon tomó el apellido Herber-Percy, bajo licencia real de 1847, tras herederar Hodnet y Airmyn.
[1] Su segundo hijo, Henry Percy, también párroco anglicano, se convirtió en rector de Leasingham).