Tras realizar estudios de Filología ingresó en el Instituto Superior del KGB de Minsk.

En agosto de 1998 es nombrado director adjunto del Federálnaya Sluzhba Bezopásnosti (FSB, anteriormente KGB).

Ivanov fue considerado como un posible candidato en las elecciones presidenciales de 2008.

Su carrera por la presidencia, sin embargo, se vio empalidecida a raíz del caso Andréi Sychov, un joven soldado que fue objeto de malos tratos en enero de 2006, en el marco de las llamadas novatadas durante su servicio militar, de resultas de los cuales debieron amputárseles sus piernas y sus testículos.

El ministro Ivanov quiso minimizar los malos tratos sufridos por Sychov,[1]​ por lo que algunas asociaciones hicieron circular una petición de dimisión de Ivanov, que llegó a reunir 10 000 firmas y fue enviada al presidente Putin.