El tercer duque de Richmond murió sin descendencia en 1672, pero su viuda permaneció en la ocupación hasta su muerte en 1702.
El rey había colocado a Charles Lennox en muchos sentidos en la persona del difunto tercer duque de Richmond, cuya familia era muy querida por los monarcas Estuardo.
Richmond House, construida por el segundo duque y quemada en 1791, se encontraba al este, más cerca del río.
La biblioteca y la colección de arte fueron rescatadas del incendio y trasladadas a Goodwood House, donde se construyeron las dos alas supervivientes (según los diseños de James Wyatt ) para volver a albergarlas.
[7] El incendio comenzó en el dormitorio de Henrietta Anne le Clerc, [lower-alpha 1] llamada "una protegida de la duquesa" y "una hija reconocida desde hace mucho tiempo de Su Gracia", que se cree que fue la hija ilegítima del duque, para a quien se refirió en su testamento como "Miss Henrietta Anne le Clerc, que reside conmigo y aunque bautizada con el nombre de Anne solo se llama Henrietta y a quien he [¿educado?]
[10] En 1987, Richmond Terrace Mews, detrás del edificio, se construyó encima y se unió a la parte trasera de Richmond Terrace para formar un moderno bloque de oficinas gubernamentales para albergar la sede del Departamento de Salud y Seguridad Social, cuya entrada principal era el número 79 Whitehall.