El Castillo tiene hoy planta pentagonal, rodeado por un gran foso y marcado por cuatro torres, tres circulares y un baluarte a modo de punta de lanza que mira hacia el puerto de la ciudad; la fachada principal da a la ciudad vieja.
Se accede a él por un puente que salva el foso, hoy con arco de piedra y tarima de madera, probablemente en su origen tipo puente levadizo.
En estas espacios es fácil reconocer las diferentes fases en la construcción del castillo.
Por una escalera se llega a las terrazas, que reflejan en términos generales la posición y distribución de la planta baja.
Desde el primer nivel se accede a las tres torres cilíndricas situadas en las esquinas del castillo: en su interior hay estancias circulares, cubiertas por bóvedas semiesféricas, en las que se colocaban bombardas y cañones.
En estas salas es posible presenciar un interesante fenómeno acústico que permite amplificar voces y sonidos.
Tanto en las cortinas exteriores como en el interior del atrio (patio) se encuentran algunos escudos heráldicos de soberanos y nobles protagonistas de la historia del Castillo.