A partir de 1760 fue el subordinado del mariscal Broglie que repitió más cuotas francesas.

Esto lo puso en conflicto con los estados del electorado, que violentamente se negaron a poner en práctica su propuesta, debido al alto costo asociado con su plan de reorganización.

En octubre de 1765, Francisco Javier renunció a la corona polaca en nombre del príncipe electoral, recordando la unificación prusiano-rusa que se había practicado desde 1764, que también existía en la cuestión de la sucesión al trono polaco.

Como resultado, el príncipe elector Federico Augusto fue proclamado oficialmente un adulto, y Francisco terminó sus funciones como Corregente.

Al año siguiente, Francisco Javier se mudó con su familia a Francia, el hogar de su hermana menor, la Delfina María Josefa, que había muerto dos años antes.

Finalmente volvió a Sajonia y se instaló en el palacio de Zabeltitz, viviendo en reclusión, muriendo ahí.

Durante su matrimonio, tuvieron diez hijos, conocidos como condes y condesas de Lusacia, aunque solo sobrevivieron 6 a la edad adulta: