En respuesta, McComb y Magnin redujeron el tamaño y usaron brownstone en la parte trasera del edificio (el brownstone junto con la fachada de mármol fue reemplazada por piedra caliza de Alabama desde 1954 a 1956).Conflictos laborales y un brote de fiebre amarilla ralentizaron la construcción.Hay 108 cuadros de finales del siglo XVIII hasta el XX.El New York Times lo calificó como «casi sin rival como conjunto, con algunas obras maestras».Las recepciones oficiales se realizan en la Governor's Room, la cual ha hospedado a diversos dignatarios incluyendo el Marqués de Lafayette y Albert Einstein.
