Su yerno, Henry Rich, primer conde de Holland, heredó la casa.Henry Fox, primer barón de Holland murió en Holland House en 1774 y tras él la casa fue heredada por sus descendientes hasta que se eliminó el título con la muerte de Henry Edward Fox, 4.º barón de Holland en 1859; sin embargo, su viuda continuó viviendo allí durante muchos años, vendiendo poco a poco terrenos.En la época del tercer lord Holland la casa se convirtió en un famoso centro político, social y literario, con muchos visitantes ilustres como lord Byron, Thomas Macaulay, Benjamin Disraeli, Charles Dickens y Sir Walter Scott.[1] Elizabeth Bowes-Lyon, la reina Madre, y el rey Jorge VI de Inglaterra asistieron al último gran baile celebrado en la casa pocas semanas antes del estallido de la Segunda Guerra Mundial.Pasó, junto con todos los terrenos, a ser propiedad de la autoridad local.
