En ese lugar existió también una fortaleza en la época musulmana si bien no queda ningún resto de ella.[4] La restos de la construcción que permanece en pie es obra totalmente cristiana.Perteneció a la Orden del Temple entre los años 1264 y 1312, año en el que desapareció la Orden,[5] concedida por el rey Fernando III de Castilla y León en vísperas a la conquista de Sevilla.Durante este siglo fue lugar donde se desarrollaron numerosos enfrentamientos entre los ejércitos portugueses y españoles dada su condición de fortaleza fronteriza con Portugal.La torre del homenaje, situada en el centro del patio de este último recinto, tiene planta cuadrada y tres pisos de altura que se distinguen por unas cornisas entre ellos.Aún lo haría más si se conservaran las almenas que coronaban la torre.
