En 2003 salió a la luz que el Bundesamt für Verfassungsschutz (BfV) lo había tenido bajo vigilancia y había abierto un expediente sobre él debido a sus supuestos contactos con el Partido Comunista Alemán (DKP) durante la década de 1980.
Supuestamente la vigilancia había sido detenida tras la entrada de Ramelow en el parlamento regional en 1999, pero en mayo de 2006, el Tribunal Administrativo de Weimar decretó que el archivo y los datos almacenados se debían dar a conocer.
Se dio a conocer que en realidad el BfV había vigilado a Ramelow por muchos años más de lo que se creía.
Con ello, se convirtió en el primer miembro del partido Die Linke en asumir este puesto.
Esto se debió, en parte, a la aparición de la BSW, que contribuyó a atomizar aún más el voto de la izquierda.