Construida en 1828 por Benjamin Ogle Tayloe, hijo del coronel John Tayloe III (quien construyó la famosa Octagon House), la casa se convirtió en un salón para personas políticamente poderosas del gobierno federal.La primera dama Jacqueline Kennedy contribuyó decisivamente a persuadir al arquitecto John Carl Warnecke, un amigo de su esposo, para que creara un diseño que incorporara los nuevos edificios con los antiguos, basado en la teoría arquitectónica del contextualismo.[5] Como se construyó originalmente, la casa de estilo federal[6] tenía tres pisos.[11] Swann abandonó la casa en noviembre de 1829, momento en el que Tayloe y su esposa la ocuparon.[13] Tayloe House fue la última casa en Washington visitada por el presidente William Henry Harrison antes de su muerte en 1841.Key fue llevado a la cercana casa Tayloe y murió momentos después.[17] El espíritu de Key, afirman testigos y autores, ahora acecha a Lafayette Square y se puede ver en las noches oscuras cerca del lugar donde le dispararon.[23] Los presidentes John Quincy Adams, Martin Van Buren, William Henry Harrison, Zachary Taylor y Millard Fillmore también eran invitados frecuentes.[24] Anthony Trollope pasó gran parte de su tiempo libre entretenido por los Tayloe en su casa durante su visita a Washington D .[28] En abril de 1885, el Cosmos Club consideró comprar la casa a la familia Tayloe.[26] Cameron amplió la casa de manera significativa, reconstruyendo casi por completo su interior.[36] Ningún otro vicepresidente había vivido nunca tan cerca de la Casa Blanca,[37] y esta proximidad ayudó tanto a impulsar el acceso de Hobart al presidente y su influencia con él, que lo llamaron "presidente asistente" y ahora es considerado uno de los más poderosos.[38] En varias ocasiones, Hobart entretuvo a todo el Senado de Estados Unidos en la casa, así como al presidente William McKinley.[39] La Comisión Internacional de Límites (que estableció gran parte del límite terrestre y marítimo entre Estados Unidos y Canadá) cenó en la casa en una cena formal organizada por Hobart, al igual que Alberto I de Bélgica.Luego, Cameron arrendó la casa al senador Mark Hanna desde enero de 1900 hasta 1902.[42] Hanna desarrolló sus planes para la reelección del presidente McKinley mientras residía en la Cámara, planes que dieron lugar a la primera elección presidencial de "mucho dinero" en la historia de Estados Unidos.[48][49] Usó la casa como anexo para las mujeres y convirtió los establos en una sala de reuniones.[53] T. Keith Glennan, el primer administrador de la NASA, también tuvo allí su oficina .El ímpetu para derribar casi todas las estructuras históricas en Lafayette Square comenzó 60 años antes.[59] La oposición a la demolición de Tayloe House y otros edificios en Lafayette Square comenzó a formarse poco después de que se anunciara el plan para arrasar las estructuras.[65] "Los saboteadores no han comenzado todavía, y hasta que lo hagan se pueden salvar", escribió.[66] La señora Kennedy reclutó al arquitecto John Carl Warnecke, un amigo de su esposo que estaba en la ciudad ese fin de semana,[67] para crear un diseño que incorporara los nuevos edificios con los antiguos.[68] Warnecke concibió el diseño básico durante ese fin de semana, y trabajó en estrecha colaboración con la señora Kennedy durante los próximos meses para formalizar la propuesta de diseño.[70] El diseño de Warnecke para la plaza se basó en la teoría arquitectónica del contextualismo.
