Goldsmith se casó en segundas nupcias con Ginette Lery, con la que tuvo dos hijos.
En 1978 se casó por tercera vez con Lady Annabel Vane-Tempest-Stewart, hija del marqués de Londonderry, con la que tuvo tres hijos, incluyendo a Zac Goldsmith.
Se enriqueció en la industria alimentaria (« Bovril ») y farmacéutica (« Alka-Seltzer »), aunque emprendió negocios en otros muchos terrenos.
En 1994, hace campaña en las elecciones al Parlamento europeo, liderando, junto a Philippe de Villiers una lista.
Luego fundará en el Reino Unido el Referendum Party, cuyo objetivo es agrupar a los euroescépticos frente a la tendencia librecambista abiertamente preconizada por los gobiernos británicos en la Unión Europea.