Su ascenso político y administrativo comenzó en 1939, cuando Beria reemplazó a Nikolái Yezhov en diciembre de 1938 al frente del NKVD.
Merkúlov participó en un plan para crear una red de espías dentro del Proyecto Manhattan.
Más tarde fue designado ministro de Control del Estado, reemplazando a Lev Mejlis.
Se rumoreaba que los cuerpos sin vida fueron incinerados y enterrados en un lugar desconocido cerca de Moscú.
El escritor e historiador británico de origen ruso Nikolai Tolstoy, en su obra Víctimas de Yalta (1977), relata a Merkúlov hablando con el general cosaco Piotr Krasnov encarcelado en la Lubianka en 1945.