Fue hijo del ferroviario Efrem Andréyevich Voroshílov (1844-1907) y la jornalera María Vasílievna Agafónova (1857-1919).En 1896 trabajó en la planta metalúrgica Yúrievski (hoy día Alchevski); en 1903, en la fábrica locomotora Hartmann de Lugansk.Desde esta posición llegó al Politburó como miembro pleno en 1926, desde donde reforzó su alianza con Stalin, participando en la Gran Purga.Su carrera se vio muy beneficiada con la caída y ejecución del mariscal Mijaíl Tujachevski condenado en el llamado Caso de la Organización Militar Trotskista Antisoviética.Una vez iniciada la invasión alemana a la Unión Soviética en junio de 1941, Voroshílov fue designado jefe del Ejército del Norte, donde pese a su valor personal —en un momento dirigió personalmente un contraataque contra los tanques alemanes armado solo de una pistola— no pudo evitar que Leningrado fuera cercada.Fue destinado a la Stavka soviética, sin asumir nuevamente mando de tropas en el frente: Entre 1945 y 1947 se le encomendó supervisar el establecimiento del Gobierno socialista en Hungría.Con posterioridad a su caída, durante el gobierno de Brézhnev fue rehabilitado, pero solamente se le permitió ejercer cargos menores.