[1]​ En 1429, el cardenal Branda Castiglioni, que había estudiado en la Universidad de Pavía, decidió fundar un colegio en la ciudad que albergaría, en un principio, a 24 estudiantes pobres pero meritorios, 18 italianos y seis extranjeros.

El mismo cardenal también redactó los primeros estatutos del colegio, que fueron aprobados por el Papa Martín V.

Por ejemplo, en el siglo XVI, durante la primera fase de la guerra entre Carlos I y Francisco I, que involucró fuertemente a Pavía, donde también tuvo lugar la famosa Batalla de Pavía, el Colegio tuvo que albergar a estudiantes españoles y alemanes e incluso fue cerrado durante algún tiempo.

En la segunda mitad del siglo XVI, el cardenal Francesco Abbondio Castiglioni se hizo cargo del colegio, reorganizó su situación económica y aumentó el número de alumnos a más de veinte en 1570.

El edificio tiene una planta en forma de U que define un gran patio rectangular en su interior[6]​.