Neumann nació en Forst (Lusacia) en una familia protestante.
Después de terminar bachillerato, Neumann estudió derecho y economía en las universidades de Friburgo, Leipzig y Halle.
Neumann se unió al partido nazi en mayo de 1933, cuatro meses después de que Adolf Hitler llegara al poder.
Se unió a las SS en 1934, siendo comisionado como mayor.
Neumann solicitó que los trabajadores judíos en empresas esenciales para el esfuerzo de guerra no fuesen deportados por el momento.