Sobre esa posición natural se construyó en el siglo XII un castillo defensivo, que corresponde a la estructura actualmente preservada.
Las atribuciones a ermitas en estas cuevas de santos como San Atiliano en épocas posteriores son sin embargo sin base histórica pues no se recogen hasta el siglo XVI, con base en leyendas populares de dudosa veracidad.
En ese contexto Los Fayos quedó como una pieza importante de las demarcaciones fronterizas, al controlar una ruta desde territorio ahora castellano hacia Tarazona, en manos aragonesas.
[9] Al no celebrarse la boda, en 1150 el castillo de Los Fayos seguía en manos navarras.
Durante el siglo XIII siguió siendo una plaza fronteriza que cambió de manos con frecuencia.
[16] Pese a las fluctuaciones, gracias a ese peaje el castillo era mantenido en condiciones incluso en tiempos de paz,[17] si bien constan órdenes excepcionales para reparar la fortificación cuando se esperaban escaladas militares, como en 1350.
[19] Durante la guerra de los Dos Pedros, la fortaleza volvió una vez más a ser disputada.
El alcaide y su hijo fueron acusados de traición por la rendición del castillo.
[27] El castillo de Los Fayos debía ser devuelto a Aragón al firmarse poco después una tregua por mediación papal, lo que sin embargo fue incumplido por los castellanos.
[28] Al contraatacar el rey Pedro IV de Aragón ese mismo año, retomando Tarazona, la guerra se reemprendió.
[23] Parece que los fondos destinados a la fortaleza no llegaban con la periodicidad debida, pues el propio Jiménez de Samper amenazó al año siguiente con abandonar Los Fayos por el impago de su sueldo como comandante.
[37] En 1367 consta que la población de la localidad se encontraba refugiada en el castillo.
[42] El castillo sin embargo estaba en plena decadencia, con los duques de Villahermosa prefiriendo un palacio en la localidad como centro del poder señorial.
[48] Dado el abandono, solo se encontraron en la torre en sí escasos restos de época medieval.
[50] Se trata de un conjunto de cuevas naturales en los que se ubica el cuerpo principal del castillo, una tipología similar al Höhlenburg centroeuropeo según Cristóbal Guitart.
[51] Esta tipología es infrecuente en la península ibérica,[52] aunque varios autores lo han comparado con el vecino castillo de Viguera.
[49] El castillo se complementaba con dos torres de vigilancia para la observación del valle.