Los orígenes distantes de la familia son especulativos aunque parece que tuvo su origen en el valle del Medio Rin, al este de la moderna Francia.
Charibert, un noble de Neustria es el ancestro más temprano registrado, con fecha anterior a 636.
Pasan cinco generaciones entre Charibert y el siguiente descendiente del que existen documentos, Rutpert (Roberto) I, Conde de Rheingau y Wormsgau.
Sin embargo, la descendencia del primer margrave Leopoldo I de Austria († 994) permanece incierta.
Los condes perdieron su posición cuando los obispos fueron elevados a "Duques de Franconia" en el siglo XII.