Ingresó en la NKVD ( Comisariado del Pueblo para Asuntos Internos) como recadero, ascendiendo rápidamente.

Abakúmov había sobrevivido a la Gran Purga participando en ella.

En este puesto, tras el ataque de la Alemania nazi a la Unión Soviética y las derrotas sufridas por el Ejército Rojo, a StalinPor orden encabezó las purgas de los comandantes del Ejército Rojo acusados de traición y cobardía.

Por ejemplo, Beria negó su responsabilidad por el arresto en 1941 del Mariscal del Ejército Rojo, Kirill Meretskov, por lo que culpó a Stalin y Abakúmov.

[5]​  Sin embargo, Nikita Jrushchov, el sucesor de Stalin quien lo denunció e hizo ejecutar a Beria, no le creyó.

En 1946, Stalin nombró a Abakúmov Ministro de Seguridad del Estado (MGB).

También llevó a cabo las primeras acciones que ordenó Stalin en reacción a la creación del estado de Israel, que implicó el arresto y la tortura de numerosos judíos prominentes, incluido el viejo bolchevique Solomón Lozovski .

Cuando la eminente científica, Lina Stern, fue arrestada y llevada ante Abakúmov, él le gritó, acusándola de ser sionista y de conspirar para convertir a Crimea en un estado separado.

Cuando ella negó la acusación, él gritó: "¡Por qué vieja puta!"

[7]​ En junio de 1951, el adjunto de Abakúmov, Mijaíl Riumin, le escribió a Stalin alegando que Abakúmov no estaba haciendo lo suficiente en la campaña antisionista.

Abakúmov y varios otros oficiales superiores del MGB fueron arrestados.