Golomb hizo Aliá a Eretz Israel, entonces parte del Imperio otomano, en 1909.

En sus inicios participó en la formación de cursos agrícolas y trabajó en el kibutz, Degania Alef.

Vio la Haganá como parte integrante del Movimiento Sionista, y en consecuencia se opuso a la existencia de otros organismos de defensa radical, tales como el Irgún.

En 1922 fue enviado al extranjero para comprar armas para la Haganá y hasta 1924 organizaba jóvenes pioneros en Europa.

Su hijo David Golomb fue miembro de la Knéset, el parlamento unicameral israelí.