El río se forma por la confluencia de los ríos Kilombero (445 km) y Luwegu, con sus fuentes en el suroeste de Tanzania, desembocando en el océano Índico en un punto intermedio frente a la isla de Mafia, en el llamado canal Mafia.

Combinando el Gran Ruaha con el tramo entre su confluencia con el Rufiji y la desembocadura de este en el mar, se alcanzan los 910 km.

El Rufiji drena una amplia cuenca de 204 780 km² (similar a países como Bielorrusia, Senegal o Kirguistán).

Se ha propuesto que el sitio del antiguo Rhapta —el puerto comercial meridional mencionado en la primera centuria Periplo del mar Eritreo— se encontraba situado cerca de la desembocadura del río Rufiji.

El profesor Felix Chami ha descubierto evidencias del comercio romano con la región en los primeros siglos después de Cristo.