Tras la liberación de Speer, la amistad se deterioró lentamente, pues Wolters se oponía firmemente a culpar, como Speer había hecho, a Hitler y otros nazis por el Holocausto y la Segunda Guerra Mundial; por ello, no se vieron la década previa a la muerte de Speer en 1981.
Tras recibir su doctorado, tuvo dificultades para encontrar empleo antes del ascenso nazi al poder.
Wolters escribió varios libros arquitectónicos durante la guerra, así como una biografía de Speer.
En sus memorias publicadas en privado, Segmentos de una vida, describió a su padre como «un hombre serio, consciente y diligente, siempre preocupado por el futuro».
Wolters se trasladó a la Universidad Técnica de Berlín ese año, seguido por Speer en 1925.
En su lugar, Wolters estuvo en la clase de Heinrich Tessenow, al igual que Speer.
[5] La graduación de Wolters coincidió con el inicio de la Gran Depresión y tuvo gran dificultad para encontrar trabajo, por lo que eventualmente se conformó por un puesto sin paga en la sede del Deutsche Reichsbahn en Berlín en 1930.
Al perder ese trabajo el año siguiente, Wolters aceptó una posición en la división de planificación urbana del Transiberiano en Novosibirsk.
[6] Wolters hizo varios viajes al exterior en relaciones con sus labores para el GBI.
[6] Wolters se hizo cargo de organizar exhibiciones arquitectónicas alemanas presentadas en otros países.
[10] Hasta 1943, Wolters viajó a otras capitales europeas y, además de sus funciones como comisionado, reunió inteligencia política.
[13] Los judíos desposeídos fueron enviados a los territorios ocupados, con los periódicos informando, según las indicaciones de Goebbels: «En los últimos días, muchos judíos han abandonado Alemania a toda prisa, dejando deudas detrás de ellos».
Speer, quien autorizó el grupo, vio una oportunidad para hacer más habitables las ciudades alemanas en la edad del automóvil.
Wolters se reunió con Riesser y otros tres medio judíos en las organizaciones de Speer para decirles que si era necesario (aunque no lo fue), los cuatro serían transferidos a fábricas de guerra esenciales donde estarían a salvo.
Wolters les dijo: «con la ayuda de Albert Speer se puede hacer cualquier cosa».
Con la destrucción generalizada, tuvo que diseñar lotes y reconstruir calles, todo ello sin demora.
Dos años más tarde, ganó nuevamente en esa ciudad una competencia para diseñar la Galarie Conzen.
[32] Wolters recibió un premio por su diseño para reconstruir la ciudad antigua (Altstadt) de Düsseldorf.
Wolters también se consideraba a sí mismo como un «funcionalista», diseñando varios hospitales modernos, de concreto y techos planos.
[37] Wolters y su secretaria Annemarie Kempf, aunque no estaba permitida la comunicación directa con Speer en Spandau, hicieron lo que pudieron para ayudar a su familia y llevar a cabo las solicitudes que Speer puso en cartas para su esposa, la única comunicación escrita oficialmente permitida a Speer.
[39] Marion Riesser, quien había continuado siendo la secretaria de Wolters al comenzar a practicar de forma privada la arquitectura, transcribió estas notas en tantas como cuarenta páginas mecanografiadas por misiva[40] y el borrador llegó a las 1.100 páginas.
[41] Wolters objetó que Speer llamara criminal a Hitler en el borrador y Speer observó que probablemente perdería un buen número de amigos si las memorias llegaban a ser publicadas.