Milton Hall

A su muerte en 1618, fue sucedido por su hijo, más tarde el primer barón Fitzwilliam, cuya nieta Jane se casó con Sir Christopher Wren.

John Fitzwilliam, el segundo conde, tuvo éxito en 1719 y al año siguiente completó una ampliación de los establos y continuó el trabajo que su padre había empezado para ampliar los terrenos y modificar los jardines del sur para incluir los recintos amurallados que se conservaban.

En 1750, después de proyectos fallidos encargados por su abuelo y padre a Talman, Gibbs y Brettingham para modernizar el palacio, el tercer conde contrató al arquitecto de Lord Rockingham, Henry Flitcroft, para comenzar las obras, y se agregó una nueva fachada sur.

Para facilitar esto, encargó a Humphry Repton (1752-1818) que ofreciera consejos sobre mejoras en los terrenos en 1791.

Con Wentworth Woodhouse como sede principal de la familia, el quinto conde dejó Milton a su hijo menor, George Wentworth-FitzWilliam, en 1857.

Después de la guerra, Lord y Lady Fitzwilliam regresaron a Milton para convertirlo en su hogar.

En 1917, cuando la sala albergaba un hospital auxiliar, Daphne du Maurier hizo la primera de varias visitas a Milton a la edad de diez años, junto con su madre y dos hermanas.

[5]​ De la correspondencia en la vida posterior entre du Maurier y el décimo conde se infiere que la felicidad y la libertad experimentadas durante estas visitas de la infancia tuvieron un impacto en la futura escritora que nunca olvidó.