Ygeman creció en Hagsätra y vivió en Årsta, Estocolmo.

En 1990, Ygeman estudió criminología en la Universidad de Estocolmo durante un semestre, pero abandonó sin título.

Ha comentado de su tiempo en la milicia lo siguiente: "Estuve poco tiempo, me fui rápidamente.

Después de cinco días solicité un servicio sin armas.

[3]​ Está casado con Elisabeth Brandt-Ygeman y juntos tienen dos hijos.