El edificio, ordenado construir por el rey normando Roger II, fue destruido en 1156 por los propios bareses (que habían impulsado al rey Guillermo el Malo a arrasar toda la ciudad con excepción de algunos lugares de culto) y reconstruido en 1233, cuando el emperador Federico II ordenó su reedificación y fortalecimiento.[2] En la actualidad, el castillo se presenta rodeado por el antiguo foso, que discurre alrededor de tres lados, con excepción del lado septentrional, antiguamente bañado por el mar; aparte del foso está la muralla defensiva, de época aragonesa, con grandes bastiones angulares con forma de lanza.Al castillo se accede por el lado sur, cruzando el puente sobre el foso y entrando en el patio entre los baluartes del siglo XVI y la torre sueva.Todo se puede apreciar por la tarde, gracias a la nueva instalación de iluminación artística, proyectada por el ingeniero barese Antonio Vernole, e inaugurada en septiembre de 2008.La nueva iluminación permite distinguir la cinta de bastiones del Castillo propiamente dicho.
