El colegio fue Real Seminario de Estudios hasta 1773 y germen de la Universidad, ostentando hasta siete cátedras en un momento en que apenas estaban implantadas en la provincia.
En 1873 se encargó a los Padres Escolapios la gestión de dicho centro educativo.
El colegio tiene dos claustros y parece estar inacabado en su ala oeste.
En tiempos pasados, el principal tesoro pictórico del Colegio fue el gran cuadro La Adoración de los Reyes de Hugo van der Goes (también llamado Retablo de Monforte), del que ahora queda sólo una copia, ya que el original fue vendido en 1913 (en medio de gran polémica) a la ahora llamada Gemäldegalerie de Berlín por un millón doscientas mil pesetas, cuantiosa suma en aquella época que permitió terminar las obras del colegio.
La pinacoteca se completa con dos obras del italiano Giovanni Bernardino Azzolini: La Muerte y El Juicio Final, y un retrato anónimo del cardenal Rodrigo de Castro.
La obra figuraba en 1881 en la colección privada del monfortino Matías Yáñez Rivada y, tras pasar por varias colecciones particulares vascas, fue adquirido por el Museo del Prado en 1965, donde hoy se puede contemplar.