En su mayor parte en ruinas, se vislumbran todavía la cerca, el castillo y la iglesia, saqueada por las tropas napoleónicas.

[3]​ En 1176 la Orden de Santiago, fundada un año antes, recibió Castrotorafe de manos del rey (villam dictam Castro Toraf per terminus novinssimos et antiquos), y en 1178 otorgó fuero a la villa.

A comienzos del siglo XIII, un incendio en la catedral de Zamora hizo que el monarca concediera una serie de diezmos e incentivos para su reconstrucción y para las obras del claustro.

Con dicha unión, la villa se convirtió en un importante feudo, aunque pasó a control papal.

[3]​ Posiblemente a él se debe la construcción del castillo en una fecha anterior a 1319, puesto que para entonces ya aparece mencionado en el testamento del Infante.

[3]​ En 1351, el rey Pedro I el Cruel pide a la Orden santiaguista que entregue la villa a Juan Alfonso de Albuquerque pero este, al perder la confianza del monarca, se refugia en ella para más tarde huir a Portugal.

El rey lo cede a Men Rodríguez de Sanabria pero con Enrique III de Castilla el poblado es arrasado como castigo al apoyo que había dado a su hermano.

Al año siguiente, los Reyes Católicos cercaron Zamora y llegaron a un acuerdo secreto con su alcalde, Alfonso de Valencia, quien recibiría la alcaldía de Castrotorafe.

En cuanto al recinto interior, su planta es parecida a la del exterior, con dos torres en el lienzo sur, obra en sillarejo, más cuidada que el resto de los muros.

En el siglo XIX la iglesia todavía se mantenía como ermita hasta su deterioro y ruina posterior debido al saqueo napoleónico y el traslado del retablo y la Virgen de Realengo a la iglesia de San Cebrián de Castro.

Debido a ello, la asociación Hispania Nostra lo incluyó en la lista roja de patrimonio en peligro.