Por otro lado, Monje y otros dirigentes habían expresado en algunas circunstancias su oposición a una acción guerrillera en Bolivia.
La posición de Mario Monje y del PC boliviano ha sido muy cuestionada frente a la acción de Ernesto Che Guevara y sus hombres en Bolivia.
Mario Monje fue considerado por Fidel Castro como un traidor en la gesta revolucionaria del Che Guevara en Bolivia («Una Introducción necesaria», prefacio al Diario del Che en Bolivia), así como gran parte de los sectores de izquierda que abogaban por la lucha armada.
Por ello abandonó el país en la década de 1980 para vivir en Moscú, realizando varias visitas a su natal Bolivia siempre en la clandestinidad y sin hacer mayores aclaraciones, excepto pocas en las que defendió un relato ambiguo y luego acusador de Guevara.
Vivió en ese país desde 1971, cuando fue exiliado, sorprendentemente, por el gobierno de Hugo Banzer.