Era hijo del duque Felipe II de Saboya, y su segunda esposa Claudina de Brosse.

Fue el fundador de la rama Nemours de la casa de Saboya, que finalmente se estableció en Francia.

Originalmente destinado para el sacerdocio, se le dio el obispado de Ginebra a la edad de cinco años, pero renunció en 1510, cuando se convirtió en conde de Ginebra.

Sirvió a Luis XII, con quien estuvo presente en la batalla de Agnadello (1509), al emperador Carlos V en 1520, y finalmente a su sobrino, Francisco I.

En 1528 Francisco le dio el ducado de Nemours y se casó con Carlota de Orleans, hija de Luis de Orléans, duque de Longueville.