Este conjunto se conoce con este nombre tras la instalación en ellos del Asilo de San Prudencio por la Fundación Aguirre en 1909.
Durante la construcción la capilla amenazó con venirse abajo por lo que fue llamado Juan de Herrera para resolver los problemas de edificio aunque quedaron grandes grietas que siguen siendo visibles.
Destaca en su interior la escalera que da acceso al coro, volada, apoyada únicamente en la pared.
[2] El monasterio fue regentado por la orden de San Jerónimo hasta 1835, que con la desamortización de Mendizábal fue cerrado, dividido en lotes y vendido.
Los edificios tuvieron un uso diverso hasta que en 1882 fueron cedidos a la Compañía de Jesús.