A la muerte de Teodosio en enero de 395, durante diez meses se convirtió virtualmente en el gobernante del imperio de Oriente, pues dominaba por completo al joven y débil Arcadio.
Intentó que el nuevo emperador se casara con su hija, pero se le adelantó el eunuco Eutropio, quien arregló el matrimonio de Arcadio con Eudoxia, hija de un general franco.
Este quedó sin fuerzas suficientes para derrotar a los visigodos, que al año siguiente saquearon a placer el Peloponeso.
El hecho de que las propiedades de Rufino en Tracia fueran respetadas por los visigodos dispararon los rumores sobre un acuerdo con el mismo Alarico.
Rufino tuvo una hermana, Silvia, devota peregrina citada en la Historia Lausiaca de Paladio,[1] la cual escribió un par de himnos y un relato corto sobre un viaje a Oriente, descubiertos en Arezzo en 1895.