Dos años más tarde, Wollweber se convirtió en líder de las alas militantes del KPD en Hesse-Waldeck, Turingia y Silesia.

Wollweber fue liberado en 1926, y en 1928 fue elegido diputado del Parlamento de Prusia, cargo que ocupó hasta 1932.

En 1931 fue elegido como director del Sindicato Internacional de Marineros y Trabajadores Portuarios (ISH).

En 1937, Wollweber se convirtió en proveedor de armas del bando republicano en la guerra civil española.

En 1957, Wollweber se vio obligado a dimitir como jefe de la Stasi y fue sucedido por su adjunto, Erich Mielke.

Poco después, Wollweber renunció a la Volkskammer y vivió en la oscuridad en Berlín Este buscando ganarse la vida como traductor hasta su muerte en 1967.