Esta región ha sido ocupada desde la época romana, y varios restos arqueológicos son testimonio de ello.
Alvito acogió al soberano en 1265, obteniendo, según la costumbre, los privilegios inherentes, confirmados por la Carta régia.
El castillo se presenta como un edificio mixto de arquitectura militar y residencia palaciega, donde se identifican las influencias islámicas, góticas y manuelinas.
De planta rectangular, con cuatro torres cilíndricas en los vértices, sus lados definen un patio interior donde se levanta la Torre del homenaje, al noroeste, adosada al lienzo de la muralla.
La parte superior de los muros está atravesada por un adarve formado por un parapeto levantado con merlones donde se rasgan las seteiras.
La mazmorra, originalmente más alta que el conjunto, tiene una planta cuadrada, en tres pisos: una planta baja y dos pisos superiores, donde las ventanas de rejilla se rasgan en los paramentos.