En 1238-1239 el rey portugués Sancho II conquistó Alfayat de la Peña y Ayamonte.
Hay fuentes que afirman que la primitiva Iglesia de la Santa Cruz habría sido construida durante el siglo XVI en el interior del castillo de Alfayat.
[1] En 1936, durante la guerra civil española, este templo fue destruido casi en su totalidad, por lo que muy poco perdura de él en la iglesia actual.
Se encuentra situada en lo alto de una loma, desde donde parten las principales calles del trazado más antiguo de la localidad.
[2] A 4 km de la misma localidad, sobre la cima de una colina, se encuentra la Ermita de la Virgen de la Peña, del siglo XV, que también se cita en varias fuentes como que fue construida sobre los restos de una fortaleza musulmana, en el Cerro del Águila,[3] que otros llaman Castillo del Águila,[4] por lo que existe confusión respecto a la ubicación del castillo que conquistara Sancho II de Portugal en el siglo XIII.