Está situado en la Vila Vella del municipio, siendo el único ejemplo de población medieval fortificada que todavía existe en la costa catalana.
Destacan tres grandes torres cilíndricas denominadas des Codolar o del Homenaje (al oeste, junto al que fue el Palau del Battle y que actualmente acoge el museo municipal), de ses Horas o del Reloj (junto al portal de entrada a la villa) y de en Joanàs (la más oriental, casi encima del mar).
Del castillo, que estuvo situado donde está el faro, no queda casi nada.
[1] La muralla está coronada por almenas rectangulares, ornamentadas en los ángulos por pequeñas ménsulas y aspilleras.
[1] Las casas que encontramos entre las calles estrechas son de los siglos XV y XVI, con edificios que presentan ciertos elementos góticos, como, por ejemplo, el Palacio del Alcalde, actual Museo Municipal.
La gran variedad en el tipo de aparejos, tanto en la muralla como en las torres, evidencia una constante transformación en todo el recinto con obras, reparaciones y restauraciones.
Fase I, construcción de un primer recinto al final del siglo XII.