El alcalde de Nueva York, Stephanus van Cortlandt, construyó su casa en 1671 en el sitio, pero se retiró a su mansión en el río Hudson y entregó la propiedad en 1700 a su yerno, Étienne "Stephen" DeLancey, un hugonote francés que se había casado.

[4]​ Sus herederos vendieron el edificio en 1762 a Samuel Fraunces, quien convirtió la casa en la popular taberna, primero llamada Queen's Head.

Cuando casi se ganó la guerra, el edificio fue el lugar de las reuniones de la "Junta de Investigación Británico-Estadounidense", que negoció para garantizar a los líderes estadounidenses que ninguna "propiedad estadounidense" (es decir, los antiguos esclavos que fueron emancipados por los británicos para su servicio militar) se le permita salir con las tropas británicas.

Dirigidos por el general de brigada Samuel Birch, los miembros de la junta revisaron las pruebas y los testimonios que dieron los esclavos liberados todos los miércoles desde abril hasta noviembre de 1783, y los representantes británicos lograron garantizar que casi todos los negros leales de Nueva York mantuvieran su libertad y pudieran ser evacuado con los "casacas rojas" cuando se fueron si así lo desea.

Los departamentos de Asuntos Exteriores, Finanzas y Guerra tenían sus oficinas en Fraunces Tavern.

Los departamentos federales desocuparon sus oficinas en el edificio y se trasladaron a Filadelfia en 1790.

El edificio fue propiedad de Malvina Keteltas a principios del siglo XIX.

En 1900, la taberna fue programada para ser demolida por sus propietarios, quienes, según los informes, querían usar el terreno para un estacionamiento.

Una extensa reconstrucción se completó en 1907 bajo la supervisión del arquitecto William Mersereau para la preservación histórica.

Usó la Philipse Manor House en Yonkers como guía de estilo y afirmó seguir la línea del techo del original, tal como se encontró durante la construcción, trazada en los ladrillos de un edificio contiguo".

[13]​ Los arquitectos Norval White y Elliot Willensky escribieron en 2000 que el edificio era "una reconstrucción altamente conjetural, no una restauración, basada en edificios 'típicos' de 'la época', partes de las paredes restantes y muchas conjeturas".

Daniela Salazar del sitio web Untapped New York está de acuerdo y afirma que "la reconstrucción fue extremadamente especulativa y resultó en una construcción casi completamente nueva".

[16]​[17]​ En una nota que la policía encontró en una cabina telefónica cercana, las FALN escribieron: "nosotros... asumimos toda la responsabilidad por la bomba especialmente detonada (sic) que explotó hoy en Fraunces Tavern, con ejecutivos corporativos reaccionarios adentro".

La nota explicaba que la bomba, aproximadamente 10 libras de dinamita que se había metido en un maletín y se deslizó en el pasillo de entrada de la taberna, fue una represalia por la "bomba ordenada por la CIA" que mató a tres e hirió a 11 en un restaurante en Mayagüez, Puerto.