En 1335, María Díez fundó el beaterio «extramuros» según privilegio de Alfonso XI.

Un siglo más tarde, en 1525 las agustinas se trasladan a un solar «intramuros» y ceden el solar a los frailes de la misma orden que se instalan allí en 1528.

De lo que fuera el convento apenas se conservan restos de la estructura horizontal original y los muros se yerguen solitarios.

El magnífico claustro fue llamado por sus dimensiones y estilo «El Escorial de Castilla», limita por el lado este con el cuerpo de entrada, por el sur con la iglesia, y por el norte y oeste con lienzos exentos de muro.

En el extremo norte, se conservan restos del torreón de tres cuerpos que remataba la monumental fachada.