Existen diversas hipótesis en torno a cómo pasa de manos musulmanas a cristianas, aunque la más aceptada es la que defiende la idea que, hacia 1167, ante la presión de las continuas luchas entre los almorávides y los nuevos invasores almohades, el rey Muhammad ibn Mardanis, apodado el «rey Lobo», cede la Taifa de Albarracín a un vasallo del rey Sancho VI de Navarra, el señor de Estella, Pedro Ruiz de Azagra, en recompensa a algún posible apoyo militar realizado previamente.
Jaime I de Aragón decide entonces sitiar Albarracín ese mismo año, siendo todavía menor de edad.
Sin embargo, levanta el asedio al no contar con el apoyo de la nobleza y ante las incursiones que realizan los asediados en Albarracín.
Durante la conquista de Valencia (1238) es cuando aparece el primer documento en el que se menciona la donación por parte del rey Jaime I a Pedro Fernández de Azagra de los castillos y villas de Altura (incluido su rabal) y Chelva, así como las alquerías de Cárcer y Gátova.
En 1300, el rey Jaime II de Aragón incorpora las tierras al realengo y da a Albarracín el título de ciudad.