Eran los últimos años del Gran Cisma de Occidente, en el que dos y hasta tres papas se habían disputado el trono de San Pedro; en 1417 el Concilio de Constanza puso fin a la discordia eligiendo como sumo pontífice a Odonne Colonna, que tomó el nombre de Martín V, y este hecho impulsó fuertemente la prosperidad de toda la familia: en 1426 Prospero fue nombrado protonotario apostólico y creado cardenal en secreto, y en los años siguientes, junto con sus hermanos Antonio y Odoardo, llegó a ser dueño de numerosas villas y castillos en el Lacio, adquiridos por compra o por concesión papal.
En noviembre de 1430 fue hecho público el cardenalato de Prospero, recibiendo el título de San Giorgio in Velabro; en tal condición participó en el cónclave de 1431 en que fue elegido papa Eugenio IV, con quien la relación no fue ni mucho menos tan cordial como lo había sido con su tío: recién ascendido al pontificado, Eugenio chocó frontalmente con los influyentes Colonna, e intentando aminorar su poder anuló algunas de las concesiones que Martín V había hecho a la familia.
En 1447 murió Eugenio IV, y en el cónclave que se siguió Prospero fue el candidato apoyado por el rey de Nápoles Alfonso V de Aragón, aunque la oposición del decano del Colegio Cardenalicio Giovanni Orsini impidió su ascenso al pontificado.
Finalmente fue elegido Nicolás V, en cuya curia se mantuvo durante los ocho años que duró su papado, siguiéndole en su huida de la peste por Rieti, Spoleto, Montefalco o Fabriano, y asistiendo a la coronación del emperador Federico III en Roma.
Alabado por Pío II como «varón honesto, de ingenio ameno y elegante cultura», cultivó las relaciones con los humanistas de su tiempo, entre ellos Poggio Bracciolini, Leonardo Dati o Lapo da Castiglionchio, recopiló una nutrida biblioteca y organizó la recuperación de dos naves romanas del fondo del Lago de Nemi, que resultaron destruidas en la operación.