El convento fue creciendo a medida que el puerto de la ciudad se desarrolla, de tal manera que a pesar de ser el último franciscano llegó a tener gran preponderancia entre sus hermanos.

Tal fue el auge que alcanzó, que hasta en la parroquia matriz, la Concepción santacrucera, se sintieron agraviados por la suntuosidad de la torre conventual, de manera que tras un litigio por el número de campanas resuelto en favor de los franciscanos, optaron por hacer su propia torre aún más alta.

En la huerta se construyó la actual plaza del Príncipe y ya en la década de los 30 del siglo XX se derriban los claustros para construir en su lugar los edificios que vemos en la actualidad: la sede santacrucera del Tribunal Superior de Justicia, el Museo de Bellas Artes y otras dependencias municipales.

La anexa Capilla de la Venerable Orden Tercera, al no verse afectada por la exclaustración de conventos siguió con sus funciones normales, hasta que en 1935 la Orden Tercera franciscana la cede a la Primera Orden para que construyan sobre dicha capilla una nueva residencia, fábrica que vemos en la actualidad.

Tras varias salidas y vueltas, actualmente vuelve a haber una pequeña comunidad de Hermanos franciscanos en esta histórica capilla, como herederos del desaparecido gran espacio conventual de San Pedro Alcántara.