Algunos años más tarde, fue recomprada por Wouter Van Twiller, gobernador de Nueva Holanda.
Entonces, se construyeron dos fortificaciones los años que precedieron a la guerra de 1812.
Después de la guerra, Castle Williams se utilizó como prisión militar como Fort Leavenworth o Alcatraz.
En 1878 las instalaciones militares de la isla, llamadas colectivamente Fort Colombus, fueron un centro administrativo importante del ejército.
La isla tuvo un importante papel en los legendarios vuelos de los hermanos Wright en 1909.