A los catorce años se le concedió un documento de identidad de la República Democrática Alemana, pero nunca llegó a tener la ciudadanía de la RDA.
Rompe vivió entre 1979 y 1990 en el distrito Prenzlauer Berg, en el Berlín Oriental.
En 1983 fundó Feeling B, una de las primeras bandas de punk alemanas, junto con Paul Landers y Christian Lorenz.
El ático en el que Rompe residía servía de local de ensayo para Feeling B.
Rompe fue vigilado por la Stasi de forma ininterrumpida entre 1972 y 1989.