Originalmente, la fortaleza estaba situada sobre un arrecife, aislándose en la pleamar, pero el continuo desarrollo de la ciudad lo ha dejado en tierra firme, quedando en la actualidad separado más de 150 metros del mar.

Se construyó en diferentes fases en función de las necesidades defensivas.

En 1553 recibió unos añadidos y sufrió una reconstrucción tras el incendio de 1599, originado por la armada holandesa capitaneada por Pieter van der Does.

Durante décadas sufrió un abandono y se restauró en 1969, incorporándole nuevos elementos, un foso exterior, nuevos arcos, y pasando a utilizarse como centro cultural.

[1]​ El Castillo de la Luz posee una planta cuadrada y se accede por un puente levadizo, debido al foso exterior añadido un siglo antes.