Sus padres fueron Kim Hyŏng-jik y Kang Pan-sok, y nació ocho años después de su hermano mayor, Kim Il-sung en la población de Mangyongdae.
[2] Cuando Kim tenía 3 años de edad su familia se trasladó al sur de Manchuria.
Su ascenso en los escalones del partido fue rápido; desde la década de 1950 hasta la de 1960 fue jefe de cuadros (1954), subdirector (1957) y finalmente director (1960) del Departamento de Organización y Orientación del PTC.
En 1966, fue ascendido a Secretario de Organización del Comité Central del PTC.
[5][1] En principio parecía el candidato más probable para suceder a su hermano en el poder, pero una enfermedad a finales de la década de 1970 le apartó de esta posibilidad.