Al quedar la población amurallada y con el castillo de Mota protegiéndola, era un lugar perfecto para espiar a los rivales que pudieran llegar por mar o por tierra.
Su posición geográfica le confería una defensa natural al estar rodeada por acantilados, salvo hacia el sur en que está situada la ciudad.
[3] En el siglo XVII hubo profundas reformas realizadas por Tiburcio Spanochi, que dieron al castillo una forma muy parecida a la actual.
[4] Los principales asedios que sufrió la fortaleza fueron los siguientes:[3] -En 1476, tropas francesas y portuguesas asediaron la villa durante varios días, no logrando rendirla por la valerosa resistencia de la ciudad.
Pero la suerte le sonríó: el 17 de agosto se produjo un incendio en el arsenal del castillo, que se propagó con rapidez, obligando a sus defensores a rendirse.
Los bombardeos del castillo se siguieron produciendo hasta el 8 de septiembre, cuando las tropas acantonadas en él se rindieron, haciendo los ingleses 1836 prisioneros, lo que da idea de la capacidad de refugio que tenían el castillo y sus defensas.