[1]​ En 1554 Juan donó a los mínimos unas tierras cercanas al convento.

Entre 1607 y 1608 la comunidad se trasladó a un nuevo edificio en el centro de Osuna, situado en la calle Aguilar.

Ese año, durante el Trienio Liberal, el convento fue exclaustrado.

En 1652, tras el traslado de la comunidad a un nuevo edificio en el centro de Osuna, los mínimos le donaron un lugar para que construyeran su nueva capilla en la iglesia del convento.

Tras la construcción de su capilla, la hermandad ha mantenido su sede en este lugar.

[8]​ La Hermandad de Jesús Nazareno tenía una Virgen de la Soledad que salió en procesión hasta el último cuarto del siglo XIX, cuando dejó de hacerlo debido al mal estado en que se encontraba la imagen.

Entonces la hermandad comenzó a procesionar con la Virgen de los Dolores, que contaba con una gran devoción local y que pasó a ser titular de la cofradía.