La casa fue diseñada en el estilo Beaux-Arts francés por el arquitecto Horace Trumbauer de Filadelfia y construida en 1906[1] para el financiero George Jay Gould, el hijo mayor del magnate ferroviario Jay Gould.
El edificio reemplazó a la casa Jay Gould de estilo neogótico, que fue demolida.
La nueva mansión fue diseñada para complementar y eclipsar la Casa Isaac Stern que se había erigido al lado, en el 858 de la Quinta Avenida.
Después de su muerte en 1934, fue heredada por su hija menor Gladys, la condesa Széchenyi.
El sitio ahora está ocupado por un edificio de ladrillo blanco terminado en 1963, que contiene 17 apartamentos.