Nacido en Polonia, su familia se trasladó a Berlín cuando aún era niño.
Tras graduarse en secundaria, se hizo aprendiz de electricista, actividad que terminó por convertirse en su profesión.
Durante 1940, Baum fue enviado a trabajos forzados en la construcción de motores eléctricos para Siemens-Schuckertwerke (hoy en día Siemens AG).
Baum y su mujer Marianne fueron arrestados el 22 de mayo.
Hay una placa en el Weißensee Cemetery de Berlín que homenajea al Grupo de Herbert Baum y también una calle en el cementerio llamada «Herbert-Baum-Straße».