De niño Halem fue primero educado en casa, y más tarde asistió a un gymnasium en Schwetz.Durante su periodo en la universidad perteneció a la fraternidad de estudiantes Corps Saxo-Borussia Heidelberg, pero fue excluido por intoxicación.En el mismo año se casó con Marie (Mariechen) Garbe, con quien tuvo dos hijos varones.A través de estos grupos y su formación legal estableció estrecho contacto con otros opositores de los nazis como Karl Ludwig Freiherr von und zu Guttenberg y Henning von Tresckow.Para 1935, bajo la influencia de Ernst Niekisch y Carl von Jordans, Halem ya había concluido que matar a Hitler era una necesidad política para evitar una catástrofe.Para 1938 Halem actuaba como enlace, con su amigo Wilhelm von Ketteler, de grupos anti-nazi en Austria.Según su hermano, Halem viajó a Checoslovaquia durante el Anschluss en marzo de 1938, para estar seguro y no ser arrestado por la Gestapo.