[3]​ Tras mostrar tempranamente interés y habilidad por el violín, su familia se trasladó a Moscú, donde pudo continuar sus estudios.

"Fui a todos", dijo Kogan más tarde, "y hasta ahora puedo recordar cada nota que tocó.

Su carrera siempre se vio eclipsada por la de David Oistrakh, muy promocionado por las autoridades soviéticas.

Al igual que Oistrakh, Kogan realizó algunas grabaciones de estudio en Occidente, la mayoría para EMI.

[4]​ Kogan fue nombrado Artista del Pueblo de la URSS en 1964[5]​ y recibió el Premio Lenin en 1965.

Su hijo, Pavel Kogan (nacido en 1952), se convirtió en un famoso violinista y director de orquesta.

Muchos especulan con que Kogan tocaba con todas las cuerdas de acero, aunque no existe una confirmación rotunda.

En realidad, Kogan nunca fue propietario de estos instrumentos, que le fueron prestados por el gobierno soviético.

Más tarde, Kogan formó otro trío con el director Yevgeny Svetlanov (piano) y Fyodor Luzanov [ru] (violonchelo).