Annius Rufus sucedió a Marcus Ambivulus como tercer prefecto de Judea en 12.
Su mandato transcurrió aparentemente sin incidentes, ya que el único acontecimiento que Josefo relata que ocurrió mientras estaba en el cargo es la muerte de Augusto en Roma en el año 14. Fue sucedido por Valerio Grato en el año 15.