Desde 1919 hasta su muerte, fue un destacado miembro de la Cheka (luego el OGPU, y finalmente el NKVD (KGB).
Durante la hambruna de los años 1932 y 1933, organizó la represión.
Siendo director del OGPU Génrij Yagoda, en 1933 es nombrado Agránov subjefe, y cuando Génrij Yagoda es nombrado Comisario del Pueblo de Asuntos Internos en 1934, a su vez Agránov es nombrado subjefe de Asuntos Internos.
Dirigió a todas las ramas operativas de la Seguridad del Estado en la URSS (Главноe Управлениe Государственной Безопасности СССР).
A consecuencia de ellos, fueron ejecutados Lev Kámenev, Grigori Zinóviev, Nikolái Bujarin, Martemyán Ryutin, Nikolái Uglánov, entre otros muchos acusados de trostskistas y opositores.
En las sesiones del interrogatorio de Lev Kámenev, Grigori Zinóviev, Nikolái Bujarin, Alekséi Rýkov y Mijaíl Tujachevski fueron dirigidas por el propio Agránov.
Su mujer, Valentina, poco después fue sentenciada y fusilada.