Primero trabajó en Luxemburgo como jardinero, para trasladarse más tarde a Francia.

[1]​ En 1936, cuando se declaró la guerra civil española y muchos comunistas alemanes acudieron voluntarios a luchar en favor del gobierno de la República Española, Goldstein se unió a ellos en las Brigadas Internacionales.

Como su regreso a Alemania era imposible, fue internado en el Campo de Vernet d'Ariège.

[1]​ En la Segunda Guerra Mundial, tras la invasión de Francia, consiguió estar tres años sin ser detectado, hasta que en 1942 fue detenido por el Gobierno de Vichy y deportado a Alemania.

Goldstein regresó a Alemania, trabajando como periodista, director de radio y escritor.