La familia Celje pronto obtuvo incontables propiedades en el reino húngaro y sus miembros ocuparon varios cargos administrativos importantes.
En 1414 viajó junto a Segismundo y participó en el Concilio de Constanza, siempre manteniéndose en el círculo interno del ahora electo rey germánico.
En 1422 se produjo un gran escándalo, pues Federico asesinó a su primera esposa Isabel de Frangepán para poder desposar a su amante Veronica Dešnić.
A Veronica la envió al castillo de Osterwitz y la hizo estrangular.
Pronto recibió el perdón, e incluso a finales de ese año se discutió su posible nombramiento como voivoda de Transivania.