Frecuentó también la Bauhaus y a los dadaístas, musicando el poema Anna Blume de Kurt Schwitters.
En 1933, con la llegada del nazismo al poder en Alemania, Wolpe, judío y comunista, huyó del país a través de Rumanía y Rusia, instalándose en Austria en 1933-1934, donde conoció a Anton Webern, con el que estudió.
Desde 1934 hasta 1938, viajó a Palestina, donde escribió sencillas canciones para los trabajadores de los kibutz.
Las composiciones que realiza en esta época para grandes conciertos se convierten, cada vez más, en complejas y atonales.
Entre sus alumnos se encuentran Morton Feldman, Ralph Shapey, David Tudor y Charles Wuorinen.