Su imagen apareció en el Berliner Tageblatt como el 'Soldado Alemán Ideal', y fue usada posteriormente en pósteres de reclutamiento para la Wehrmacht.
El padre de Goldberg se crio en Königsberg como un miembro de la comunidad judía, si bien se había bautizado en una iglesia luterana local, dado que deseaba ser visto como tal, y se casó con una mujer cristiana.
En 1935 las leyes de Núremberg comenzaron a clasificar a las personas que tuvieran al menos tres abuelos judíos como judíos; mientras que aquellos con dos serían considerados como judíos solamente si practicasen el judaísmo o bien si tuvieran una esposa judía.
Goldberg dejó el colegio en 1935 y se convirtió en aprendiz para Schneller und Schmeider, una empresa textil regida conjuntamente por un judío y por un no judío, donde muchos de sus compañeros de trabajo mismos fueron judíos o mischlinge.
La tía materna de Goldberg se unió al Partido Nacionalsocialista Obrero Alemán y se negó a ser vista con la familia de Goldberg, incluso evitando a la propia madre de Goldberg.