Estaba situado sobre un acantilado en la ribera del río Mira, que contaba con buenas condiciones de defensa natural, y permitía controlar el río en un punto donde ya no era navegable, siendo así un importante corredor entre la costa y el interior.
El castillo puede tener su origen en un asentamiento fortificado de la Edad del Bronce, que siguió estando habitado durante toda la Edad del Hierro, habiéndose descubierto un foso defensivo de esta época.
La siguiente fase de ocupación corresponde a la época musulmana, y el pueblo pudo haber tenido una fortaleza.
[2] Las referencias más antiguas al castillo aparecen en los siglos XIII y XIV, tras la reconquista cristiana de la comarca.
Este navegante, contratado por D. Dinis como almirante para organizar la marina portuguesa y luchar contra la piratería, fue el autor del primer viaje documentado a las Islas Canarias a instancias de la Corona portuguesa (1341).
Más tarde, D. Pedro II (1667-1706), donó estos dominios al primer Duque de Cadaval.