Fue construido donde había un yacimiento del periodo romano, destruido en guerra con Castilla en tiempos de Jaime II a finales del siglo XIII.

Fue construido en el emplazamiento de un antiguo asentamiento del periodo romano.

Este castillo del Poyo no es identificado con seguridad y Carlos Ayala Martínez opina que no debía de corresponder a ningún castillo del Reino de Valencia.

[1]​ Este acuerdo también se refleja en un texto en latín del Liber patrimonii Regii Valentiae, donde aparece el castra del Pueyo que el rey de Castilla Sancho IV cedió o devolvió al rey Pedro III el Grande en el Tratado de Campillo de 1281, junto con Ferrellón, Pozuel, y el Valle de Ayora:

Actualmente no quedan más que los restos de un torreón medieval.