Las prospecciones arqueológicas realizadas en el cerro de Moya muestran que los restos más antiguos hallados en torno al castillo corresponden a la Edad del Bronce y la Edad del Hierro, habiendo servido como castro celtíbero, pero su aparición en la historia no comienza hasta la conquista del territorio del pre-Rincón de Ademuz (Ademuz, Castielfabib), El Cuervo (Teruel), Serreilla...) a principios del siglo XIII (1212), por Pedro II de Aragón, sin que haya constancia de que el lugar fuera ocupado previamente por andalusíes, almorávides o almohades, ni hubiera castillo alguno antes de la conquista cristiana.
A finales del mismo siglo, la Corona confirmó el privilegio de Realengo (1390).
Su agonía se prolongó hasta mediados del siglo XX, en que la ciudad fue abandonada definitivamente, lo que favoreció el expolio de sus edificios -públicos y privados, religiosos y civiles-, castillo incluido, perdiéndose gran parte de su patrimonio arquitectónico.
Entre los edificios civiles y militares cabe resaltar: Casa Ayuntamiento, correspondiente al antiguo pósito (granero municipal), ubicada en la plaza Mayor del lugar, ha sido restaurada en su totalidad.
Casa del Comendador: situada en el extremo occidental de la plaza Mayor, está totalmente arruinada.
Esta parte de las ruinas se hallan en el extremo meridional del conjunto.
Iglesia de San Bartolomé, situada en el Tercer Recinto, está totalmente arruinada, habiéndose ya desmantelado durante la guerra civil española (1936-1939).
Iglesia de San Miguel (siglo XVII), arruinada hasta los muros, su solar fue utilizado como cementerio local, todavía en uso.