En una posición dominante sobre una colina, frente al Océano Atlántico, se considera un expresivo monumento militar en el Algarve, teniendo su historia asociada a la del vecino Castillo de Silves.[1][2][3] En la época de la ocupación musulmana, el sistema defensivo de este asentamiento se engrosó, aunque los estudiosos aún no lo entienden del todo: la defensa que proporcionaba el castillo morisco se reforzó con reductos complementarios, entre éste y el mar.Al este se encuentran los restos de una torre que, según su altura, habría permitido observar el movimiento en la ensenada.[2] Se cree que el actual castillo de Alvor sólo corresponde a la primitiva alcazaba islámica.El pueblo también debió de estar rodeado originalmente por un recinto amurallado, que no ha sobrevivido hasta nuestros días.