El origen ha de buscarse en el puente entre los siglos XII y XIII y muy unido a la figura de Alfonso VIII —el de las Navas—, que lo construye como punto adelantado de Monteagudo de las Vicarías para vigilar el valle del Nágima —acceso a la Meseta— y el río Jalón y lo cede a su hombre de confianza, Martín González.Es tierra fronteriza de la raya, entre los reinos de Castilla y Aragón.El castillo es hoy casi un conjunto de restos, de lo que fue un castillo de guarnición, construido con mampostería en los paramentos y sillares en las esquinas.En su construcción dominó el gótico e incluso el protogótico: en el interior se pueden apreciar restos de plantas y aposentos, mechinales así como un aljibe y paso subterráneo.A los pies del castillo se encuentra la ermita de Nuestra Señora de la Torre, también conocida como ermita de San Marcos.