Su abuelo fue el Mayor General Bonaventura von Rauch.
Sus hermanos eran el General de Caballería Gustav Waldemar von Rauch y el caballerizo en jefe prusiano Fedor von Rauch.
Su hermanastro fue el Hofmarschall y chambelán Adolf von Rauch y su hermana la Condesa Rosalie von Hohenau, esposa morganática del Príncipe Alberto de Prusia, el hermano menor del rey Federico Guillermo IV de Prusia y el emperador Guillermo I de Alemania.
En 1866 Albert contrajo matrimonio con Elisabeth von Bismarck.
Sus hijos Friedrich Wilhelm von Rauch, Teniente Primero à la suite del 1.º Regimiento de Infantería de la Guardia y Gobernador Militar de los hijos del Emperador Guillermo II, y Leopold von Rauch, Coronel en el Estado Mayor General, también siguieron una carrera militar.