Antes de que fuera terminada, el gobierno federal se mudó temporalmente a Filadelfia y luego de manera permanente a Washington D. C..
Luego fue alquilada a John Avery y fue conocida como el Elysian Boarding House.
James Robinson se convirtió en el arquitecto y diseñó una mansión de estilo georgiano.
[6] The cornerstone of this new building was laid on May 21, 1790.
[7] Sin embargo, antes de que se termine la construcción del edificio, el Congreso aprobó la , before the building was completed, Congress passed the Ley de Residencia del 16 de julio de 1790 que estableció a Filadelfia como la capital temporal del país por un periodo de 10 años mientras la capital permanente se construía en lo que es hoy Washington D. C. Así, el presidente Washington nunca residió en este edificio público que se construyó para ser su mansión.
[7][8] La Government House fue descrita en 1791 por el reverendo Garret Abeel como un "elegante edificio de dos pisos de ladrillo de una forma de un cuadrado oblongo ... al frente hay un pedestal elegante soportado por cuatro grandes pilares ... todas las habitaciones en las casa muestran una grande y deliciosa vista, algunas al río Este, otros hacia the Narrows; otros al río Norte.
"[9] [[Archivo:George Clinton by John Trumbull 1791.jpg|thumb|upright|left|Portrait of [[George Clinton (vice president)|George Clinton]] pintado por John Trumbull en 1791]] Mientras el edificio nunca fue utilizado por el presidente, sí sirvió como la casa del gobernador estatal.
En 1791, el gobernador George Clinton se mudó al edificio.
[21] La academia fue previamente conocida como la New York Academy of Fine Arts.