Desde 1928 hasta 1931 fue jefe de Estado Mayor del Ejército Rojo, reemplazando a Mijaíl Tujachevski, con quien tuvo una relación tensa.En 1937 fue nombrado Jefe de la Intendencia General, sucediendo a Aleksandr Yegórov, víctima del juicio secreto en el Caso de la Organización Militar Trotskista Antisoviética, durante la Gran Purga del Ejército Rojo desencadenada por Iósif Stalin.El precio que pagó por su supervivencia durante las purgas fue la colaboración en la destrucción de Tujachevski y muchos otros colegas.[9] Afortunadamente para la Unión Soviética, Sháposhnikov tenía una buena mentalidad militar y altas habilidades administrativas.Obtuvo la liberación del Gulag de 4.000 oficiales que se consideraron necesarios para esta operación.
