En el siglo XVII se trasladó al centro de la ciudad.No obstante, la falta de medios económicos hizo que abandonasen este proyecto.Leonor de Virués se reservó una capilla funeraria familiar en la iglesia del colegio conventual.[2] La orden vendió el inmueble de la Cruz del Campo al genovés Lelio Levanto.[3][4] En 1634 compraron unas casas a Francisco Pérez de Meñacas, en la calle Sierpes, instalándose en ese lugar definitivamente.La biblioteca pública, fundada en 1749, siguió con un fraile bibliotecario, aunque sin apenas recursos económicos.Aunque los agustinos reclamaron su colegio en 1819 y 1825, llegándose a unos acuerdos que permitieron mantener abierta la escuela.[13] El agustino Gaspar de Molina y Oviedo estudió en este colegio.El colegio fue cerrado y la biblioteca siguió funcionando con un fraile bibliotecario, aunque sin apenas recursos económicos.En 1878, por acuerdo del ayuntamiento, los fondos que quedaban fueron donados a la Universidad de Sevilla.
