A los 10 años, sus padres se separaron y el padre se quedó en Berlín mientras la madre y los hijos retornaron a Suiza.

Desde allí, Hans Albert mantuvo una relación epistolar con su padre.

Su madre, Mileva Marić, era una matemática y física originaria de Serbia.

Tuvieron tres hijos: Bernhard Caesar (físico, 1930-2008), Klaus Martin (1932-1938) y Evelyn (1941-2011), quien fue adoptada.

[3]​ Su esposa Frieda falleció en 1958, y Hans Albert se casó entonces con Elizabeth Roboz.