Sokolov sirvió en la batalla del lago Jasán durante las guerras fronterizas entre la URSS y Japón y también en el frente oriental durante la Segunda Guerra Mundial.

Sokolov fue ascendido a Mariscal de la Unión Soviética en 1978.

Sokolov fue nombrado Ministro de Defensa de la Unión Soviética en 1984 y ocupó este cargo hasta 1987, cuando fue despedido por Mijaíl Gorbachov como resultado del asunto Mathias Rust.

Asimismo fue un candidato (sin derecho a voto) miembro del Buró Político desde 1985 hasta 1987.

En su cumpleaños centenario, afirmó "el prestigio del servicio militar recuperará la importancia que alguna vez tuvo".