Durante la ocupación musulmana se denomnó al-Mada, que significa mina de oro o plata, palabra de la cual deriva su nombre actual.En esa época los almohades habían penetrado en la península ibérica y estaban conquistando sucesivamente territorios y fortalezas portugueses.[3] El 24 de febrero de 1255 Alfonso III confirmó la posesión del castillo, junto a otros, a la orden de Santiago, que ya le habían sido dados por Sancho I y confirmados por Alfonso II.A lo largo de las centurias el castillo ha sido sucesivamente reformado y ampliado.Por ejemplo, durante el reinado de Manuel I (1495-1521) se levantó una torre en el sector sur de la muralla.
