La alcazaba fue centro de varias rebeldías contra el poder del emir cordobés, como la protagonizada por Calib ben Hafsum en 886, que partió desde Zorita para saquear Toledo.
[5] En 1097 Alfonso VI nombró a Alvar Fáñez alcaide de Zorita, aunque fue derrotado en 1110 por las tropas almorávides, que recuperaron la alcazaba.
En 1124 fue conquistada por los caballeros templarios para el Reino de Castilla en 1124, que pudieron mantenerla a duras penas ante las tropas almohades.
En todas las épocas utilizaron sillarejos y sillares de canteras cercanas.
El acceso se realiza por dos caminos: desde el sur, que lleva a una torre albarrana construida en 1328; desde el pueblo al oeste, que sube en zigzag, atravesando la puerta principal con un arco gótico y otro de época califal.
En el sur del recinto hay restos de un cementerio, usado por los caballeros calatravos, y en el norte un aljibe que comunicaba con toda la alcazaba.
Cerca de la iglesia se encuentra la conocida como Sala del Moro; su planta es circular, levantada en forma semiesférica en el XIII.