Sus abuelos paternos, Boleslao III el Generoso y su primera esposa Margarita de Bohemia.

Alberto mantuvo numerosas amantes, pero durante su reinado, estallaron problemas debido a una mujer, Aleid van Poelgeest, que no gustaba al pueblo por su influencia política.

Pese a las infidelidades de Alberto, la pareja tuvo siete hijos; todos alcanzaron la edad adulta, algo poco común en la época: Todas las hijas de Margarita se casaron en poderosas familias reales, siendo una de ellas, Juana Sofía, abuela de Ladislao el Póstumo.

Margarita murió en 1386, a los 44 años y fue enterrada en la Capilla de la Corte Binnenhof en La Haya.

Los únicos hijos legítimos de Alberto fueron los que tuvo con Margarita de Brieg, ya que no tuvo descendencia con Margarita de Clèves, pero mantuvieron una corte conjunta en La Haya.