Posteriormente, manteniendo su importancia, fue ocupada por vándalos y por musulmanes, atribuyendo algunos autores a estos últimos la construcción del primitivo castillo, de planta cuadrada, con torres semicirculares en los vértices.
El rey Sancho II de Portugal llegó hasta la desembocadura del río Guadiana, donde conquistó Mértola y Ayamonte (1238).
En este castillo residió el Infante D. Henrique (1395-1460), nombrado Maestre de la Orden.
Externamente, una cerca de forma irregular, orgánica y ameboide rodeaba la villa.
En esta cerca destacaban: Con el inicio de la expansión marítima portuguesa, la región del Algarve adquirió una nueva importancia estratégica, debido a su proximidad a las fortalezas del norte de África.
Estas obras cumplían una doble función: apoyo logístico a las plazas africanas y vigilancia contra la acción de los corsarios, activos en la región.
Otras plazas del Algarve, sin embargo, se modernizaron durante el siglo XVI, lo que no ocurrió en Castromarín.
Dentro de este sistema defensivo el soberano ordenó erigir una nueva ermita dedicada a Santo António en la que se consagró un altar al mártir San Sebastián.
Recientemente, en 2004, se estaban llevando a cabo trabajos en el Museo Arqueológico.
En posición dominante sobre una colina, el castillo medieval (también llamado "Castelo Velho" o simplemente "Castelejo") presenta una planta cuadrangular irregular (orgánica), con cuatro cubos cilíndricos en los ángulos de las murallas, atravesados por un adarve, donde se abren dos puertas al norte y al sur, una de las cuales está rematada por una piedra blasonada y una inscripción epigráfica.
En el vértice sur se alza una plataforma para artillería; en los vértices este y oeste, dos torreones de planta cuadrada, cubiertos por terrazas en las que se abren puertas en arco de medio punto.