Pronto habilitaron el castillo los alcantarinos, que en 1308 fue ocupado por los templarios y para cuya recuperación se libró una cruenta batalla.

Hasta 1423 se desarrolló con plenitud la vida conventual de freires y caballeros; comenzaron entonces importantes obras de ampliación que obligaron a algunos religiosos a salir del recinto religioso militar y vivir en casas particulares, con lo que se produjo así la relajación de la vida comunitaria.

Se hizo con la propiedad Miguel de Amarilla y Sande, residente en Alcántara.

La portada se encuentra en los pies y es obra posterior, con una imagen de la Virgen en alabastro.

Su fachada se muestra sobria y un pequeño claustro permite el acceso al principal, obra de verdadero interés que muestra el paso del gótico al Renacimiento.