En 2005 empezó bien la temporada, pero su desempeño disminuyó al final y culminó con efectividad de 4.14 en 87 entradas lanzadas.
Los Filis tenían grandes esperanzas para Madson en 2006, cuando le vuelven a utilizar como abridor, el rol que mantuvo durante toda su carrera de ligas menores.
Pero después de luchar como titular, fue devuelto al bullpen para hacer sitio a Cole Hamels.
Para 2008 Madson se había convertido en parte del "puente hacia Lidge (cerrador Brad Lidge)", convirtiéndose en set-up sobresaliente.
Lanzó 1 2/3 de entrada, ponchando a un bateador mientras que permitió un hit y una base por bolas.
[2] Nunca lanzó para los Rojos, pues declinó su opción el 31 de octubre y se convirtió en agente libre.