Entre 1332 y 1338 se cedió a los monjes del Carmelo el templo mozárabe de Santa María de Alfizén y otros terrenos y edificios próximos, donde se construyó el convento.

Se fugó a los ocho meses de encierro, descolgándose por un balcón, al norte del edificio, al huerto que lindaba con el convento de la Concepción, donde se refugió.

Las obras fueron ejecutadas por el arquitecto Juan Bautista Monegro.

Entre 1809 y 1812, las tropas francesas de Napoleón, saquearon e incendiaron la iglesia y convento, quedando el edificio destruido totalmente.

Actualmente, el paseo del Carmen, cuya ubicación ocupó el convento, toma su nombre del mismo.