Se unió al Partido Comunista de la Unión Soviética en 1939 y se ofreció como voluntario para el servicio militar durante la Guerra de Invierno con Finlandia.
A Shcherbina se le atribuye la cofundación de la industria del petróleo y el gas en la Siberia occidental, mientras se desempeñaba como primer secretario del PCUS en el óblast de Tiumén y más tarde como ministro del Petróleo y Gas (1973–1984).
En 1976, Shcherbina se convirtió en miembro del Comité Central del Partido Comunista de la Unión Soviética y mantuvo el cargo hasta su muerte.
Sin embargo, Yeltsin fue elegido y más tarde se convirtió en el primer presidente de la Rusia independiente.
Fue interpretado por Stellan Skarsgård en la miniserie de 2019 Sky / HBO Chernobyl.