Se encuentra situado en el casco histórico de Fermoselle.

Fue construido sobre los imponentes farallones desde los que se facilitaba la defensa de esta localidad amurallada.

Con anterioridad perteneció a doña Urraca, esposa del rey Fernando II de León.

Más tarde, en el siglo XVI fue plaza fuerte en la guerra de las Comunidades y bastión frente a la vecina Portugal, llegando a ser tomado durante la guerra de Restauración portuguesa por las tropas portuguesas en 1654.

[3]​ Parece ser que en el siglo XVIII es objeto de distintas reparaciones por el ingeniero Benigno Garrido Marcos, sin embargo, el proceso de ruina, por un lado, y las desafortunadas construcciones realizadas en su solar y entorno han provocado que los vestigios se limiten a pequeños lienzos de muralla en su lado meridional.