Hasta la muerte de su padre, se le conoció como Rodolfo el Joven, y después como Rodolfo el Viejo, para distinguirlo de su hermano menor.
Tras la muerte de su padre en 1288, gobernó el margraviato de Baden junto con sus hermanos Hesso, Germán VII y Rodolfo III, hasta su muerte.
Rodolfo II se casó con Adelaida de Ochsenstein, quien era la viuda de un conde de Strassberg.
Tenía un hijo y dos hijas de su primer matrimonio.
Su hija Gertrudis se casó con el hermano menor de Rodolfo, Rodolfo III.