En 1986 tuvo que dimitir por la falta de apoyo interno y externo a su gestión, siendo sucedido por Haji Mohammad Chamkani.
A raíz de organizar manifestaciones estudiantiles fue encarcelado en 1953 y estuvo en la cárcel durante tres años.
Mir Akbar Kaibar, su compañero de celda, lo influenció para convertirlo al marxismo.
Hacia 1967 el PDPA se dividió en dos facciones: la Parcham (llamados así por el periódico que editaban, cuya traducción es «Bandera»), facción moderada de la que Karmal era el líder indiscutido, cuya etnia predominante era la tayika y que quería crear un frente unido de todos los grupos antimonárquicos; y la Jalq (llamados así por el periódico que editaban, cuya traducción es «Pueblo»), encabezada por Nur Mohammad Taraki, de tendencia más radical, de base ampliamente pashtun y que hacía hincapié en la lucha de clases.
Durante unos meses dirigió una dura represión a la población y purgas en el PDPA.
Tuvo la difícil tarea de buscar apoyos locales y contentar a los soviéticos.
Tiene una escasa comprensión de las cuestiones económicas que le interesan a nivel general».
Ese año se pusieron en funcionamiento 100 nuevas empresas y la cosecha superó los índices previos a la Revolución.
[9] Mientras iban en aumento las deserciones en las Fuerzas Armadas, Mijaíl Gorbachov consideró responsable de la mala situación a Karmal.
Con la disolución de la URSS, Karmal pudo volver a su país por un tiempo, donde vivió bajo la protección del general Abdul Rashid Dostum.
El día 5 fue velado, asistiendo aproximadamente 200 personas de la comunidad afgana local.