Según su biógrafo Pier Candido Decembrio, Filippo nació en el sexto minuto después de la salida del sol.
Su madre había tenido numerosos abortos previos, frutos sin duda de la consanguinidad que unía a los duques.
Así, en 1404, Giovanni Maria hizo apresar a su madre, recluyéndola en Monza, donde murió poco después.
A la muerte de Giorgio Ordelaffi, señor de Forlì, fue nombrado sucesor su hijo Teobaldo Ordelaffi, todavía muy joven, por lo que Filippo se convirtió en su tutor, tal como había dejado testado el propio Giorgio.
Se inició así una contienda con la ciudad de Florencia, decidida a detener las ambiciones milanesas.
Venecia, tras algunas dudas, y persuadida por el Conde de Carmagnola decidió intervenir en la disputa, sumada al bando florentino.
Tras un largo asedio y la destrucción de la flota ducal que llevaba alimentos a la ciudad, los venecianos consiguieron conquistar Brescia.
Visconti, que había pedido inútilmente ayuda al emperador Segismundo, se vio obligado a aceptar una paz propuesta por el Papa Martín V, en 1426, en el que sus ambicionadas pretensiones territoriales quedaban anuladas.
Para añadir más infortunios, en 1431 fue nombrado Papa un veneciano, Eugenio IV, y por lo tanto hostil a Visconti.