El edificio se construyó en piedra arenisca roja con estilo Normando (una combinación del siglo XII de tardío románico con motivos góticos) y normalmente se le denomina como El Castillo.

Fue el primer edificio de la Smithsonian, completado en 1855 por el arquitecto James Renwick Jr.

La primera fue consecuencia del fuego que el 24 de enero de 1865 destruyó la planta alta del segmento principal y las torres norte y sur.

El edificio fue el hogar del primer secretario de la Institución Joseph Henry y su familia.

Esta escultura honra al primer secretario y fue ejecutada por William Wetmore Story.