Su familia, la Casa de Wittelsbach, era contraria al régimen de la Alemania nazi, y Ruperto llevó a su familia a Sárvár, en Vas, Hungría, en 1940.

El 3 de septiembre de 1930, en Berchtesgaden, Alberto contrajo matrimonio con la condesa húngara María Francisca Juliana Juana Drašković von Trakošćan (1904-1969).

Ella era hija del conde Dionys Maria Draskovich von Trakostjan y la princesa Juliana Rose von Montenuovo (bisnieta de María Luisa de Austria, en algún momento emperatriz de los Franceses), pertenecía a una familia de la nobleza croata conocidos desde 1230 y hechos Condes imperiales en 1631.

De este matrimonio nacieron cuatro hijos.

En 1971, Alberto contrajo matrimonio con la condesa Maria Jenke Clara Clementina Antônia Estefânia Walburga Paula Keglevich von Buzin (1921-1983), no tuvieron descendencia.