En la torre del homenaje se encuentra el museo dedicado al libro de Camilo José Cela, Viaje a la Alcarria.Según la tradición oral, la fundación de un castillo en Torija se asocia a la Orden del Templarios en el siglo XII.Sirvió de atalaya defensiva en guerras medievales, siendo conquistado por los navarros en el siglo XV.Durante la guerra civil sufrió también cuantiosos destrozos, siendo restaurado en los años 1960 por la Dirección General de Bellas Artes y más recientemente por la Diputación de Guadalajara.Es de planta cuadrada y con la torre del homenaje integrada en la muralla.
