En su familia había dos hermanos mayores a los que también les gustaba el hockey: Nikolai y Yuri.

A los 18 años, Makarov debutó con el Traktor local y pasó dos temporadas en el equipo.

En 1978, tras ser reclutado por el ejército, Makarov recibió una invitación del CSKA.

Esa misma temporada, Makarov jugó su primer partido con la selección nacional de la URSS.

En el segundo partido, Makarov volvió a marcar y la selección soviética ganó 4-2[2]​.

Jugó una temporada completa con la selección nacional, apareciendo en partidos amistosos y en torneos para los premios de los periódicos "Rude Right" e "Izvestia".

Justo en este torneo se creó uno de los quintetos más fuertes de la historia del hockey mundial: «El quinteto de Larionov»]], que incluía a Vladimir Evgenievich Krutov, Igor Larionov, y también a los defensas Vyacheslav Alexandrovich Fetisov y Alexei Viktorovich Kasatonov.

Ganó dos Campeonatos del Mundo Juveniles y fue nombrado el mejor jugador durante su segunda victoria en 1978.

En la Unión Soviética, Makarov jugó 11 temporadas de campeonato con el CSKA de Moscú (Ejército Rojo), ganó el premio al Jugador soviético del Año (también conocido como MVP soviético) tres veces, fue nombrado para el Equipo de Estrellas de la Liga Soviética diez veces, y liderando la liga en puntos nueve veces y tres goles.

Ganó el Calder Memorial Trophy como novato del año a la edad de 31 años (como resultado, se cambiaron las reglas y ahora solo los jugadores menores de 26 años califican para el premio: la Regla Makarov ).

[9]​ En los últimos años, a Sergei Makarov no le gusta comunicarse con los medios.