Durante su mandato como embajador en Francia, todavía pasó suficiente tiempo en Londres para ser uno de los gobernadores fundadores de la nueva organización benéfica allí, conocida como el Foundling Hospital (creado en 1739).En 1729, había sido creado Conde Waldegrave y a su muerte en 1741, fue sucedido por su hijo mayor, James.Sir James heredó el Castillo de Hever en Kent, que había permanecido en la familia Waldegrave durante 160 años (1557-1715).Se consideró demasiado pequeño para Sir James y lo vendió a principios del siglo XVIII (1715) a Sir William Humfreys, alcalde de Londres (1714).[2] Luego hizo construir dos nuevas residencias, Navestock New Hall (Essex) y Chewton House (Somerset), que, a diferencia del castillo medieval de Hever, cumplió los requisitos para las mansiones representativas de una familia ambiciosa en el siglo XVIII.