Perteneciò a John Shaffer Phipps, que heredó de la fortuna de la familia Phipps Ubicada en 71 Old Westbury Road en Old Westbury, la propiedad se convirtió en una casa museo en 1959.
El trabajo en la finca comenzó en 1903, cuando John Shaffer Phipps le prometió a su prometida, Margarita Grace (hija del empresario Michael P. Grace), que le construiría una casa en los Estados Unidos que se asemejara a la residencia británica de su familia en Battle Abbey.
Fue diseñada por el británico George A. Crawley, con la ayuda del arquitecto estadounidense Grosvenor Atterbury.
Henry Phipps and Her Grandson Winston de John Singer Sargent está colgado en el comedor.
Otras películas filmadas en el lugar incluyen North by Northwest, The Age of Innocence, Wolf, To Wong Foo, ¡Gracias por todo!