Tras la Segunda Guerra Mundial se volvería un partido menor en la Alemania Occidental, hasta que fue prohibido en 1956.

El KPD fue fundado hacia el final de la Primera Guerra Mundial por los socialistas y sectores socialdemócratas que se oponían a la contienda.

Liderados inicialmente por Rosa Luxemburgo, después de su muerte el partido se vio cada vez más inclinado hacia el leninismo y posteriormente al estalinismo.

Tras la toma del poder por Adolf Hitler y los nazis, las nuevas autoridades no tardaron mucho tiempo en prohibir el partido, que pasó automáticamente a la clandestinidad.

En la Alemania Occidental el partido mantuvo un perfil bajo y acabó siendo prohibido por el Tribunal Constitucional en 1956.

Tras su ilegalización, un gran número de partidos minoritarios han reclamado ser herederos del KPD.

Sin embargo, pronto surgiría el debate sobre la necesidad de formar un partido comunista en Alemania que llevase la misma política, tuviese el mismo programa y se aliase a los bolcheviques de la Rusia soviética.

Este hecho supondría que durante los siguientes años el KPD y el SPD mantuvieran un agrio enfrentamiento entre sí.

Fue entonces cuando Paul Levi tomó las riendas del partido como el principal líder de la organización.

[8]​[9]​ Todo esto estuvo precedido por la condena que había realizado la Internacional Comunista a la postura de Levi, en relación con una disputa interna del Partido Socialista Italiano,[10]​ y la posterior concesión que la Komintern hizo al rival KAPD, que obtuvo el estatus de «sección simpatizante» de la Internacional Comunista.

Siguiendo a la Komintern, Thälmann sostenía que el capitalismo estaba entrando en una profunda crisis, y que los sindicatos izquierdistas y el SPD eran organizaciones socialfascistas, además del principal enemigo político del KPD.

En las elecciones federales celebradas ese mismo mes, el partido obtuvo un máximo histórico de 5 980 239 votos (16,86 %) y 100 diputados.

Sin embargo, la llamada «ley habilitante», que legalmente proporcionó a Hitler poderes absolutos para poder gobernar, fue votada en el Reichstag después de que el grupo de diputados comunistas fueran arrestados y encarcelados.

[27]​ En el interior, la resistencia comunista quedó muy quebrantada, pero no extinguida del todo, y hubo militantes como Dagobert Biermann que continuaron con la actividad del KPD de forma clandestina, aunque esto significara acabar en prisión o incluso ejecutados.

[28]​ Más de 3000 comunistas alemanes participaron en la guerra civil española en apoyo del Gobierno republicano, enrolados en las Brigadas Internacionales.

[29]​ En 1945, tras el final de la Segunda Guerra Mundial, el KPD fue nuevamente legalizado por las autoridades militares aliadas.

Posteriormente, en 1949, la zona soviética se acabaría convirtiendo en la República Democrática Alemana (RDA), un nuevo estado en el que el SED mantuvo el monopolio del poder hasta 1990, aunque con la coexistencia de otros partidos políticos.

En las elecciones celebradas ese mismo año, el KPD obtuvo 1 361 706 votos (5,7 %) y 15 escaños en el Bundestag.

Max Reimann se convirtió en el nuevo hombre fuerte del KPD en la Alemania occidental.

[35]​ Entre los congresos celebrados, el liderazgo del partido residía en el Comité Central (Zentralkomitee, ZK) —elegido en cada congreso—, el cual estaba formado tanto por miembros de la dirección (Zentrale) como por representantes elegidos por la militancia, a través de los distritos a los que representaban.