Scholz se casó dos veces y permaneció tres años encarcelado por la muerte de su primera esposa.

En 1944 inició un aprendizaje de mecánica y, tras finalizar la Segunda Guerra Mundial fue cocinero.

Defendió su título con éxito contra Charles Oechsle y Leo Starosch en 1952.

Scholz defendió con éxito el título Hans Werner Wohlers (victoria a los puntos en julio de 1959) y contra Peter Müller (nocaut técnico en el primer asalto en noviembre de 1959).

Defendió también su título europeo con éxito contra Andre Drille en diciembre de 1959.

Ese mismo año publicó el libro Ring Free, con memorias de su carrera.

Su éxito como boxeador le dio una gran fama en Alemania, especialmente en las décadas de 1950 y 1960, siendo comparado con Max Schmeling, el boxeador más destacado de Alemania.

Gracias a su carrera deportiva tuvo una corta trayectoria en el mundo del espectáculo.

En 1971 hizo un papel como policía en el telefilm de Thomas Engel Glückspilze.

Intentó suicidarse dos veces, y también le diagnosticaron enfermedad de Alzheimer.