Proveniente de una familia judía ortodoxa, a los 10 años cantaba en la sinagoga.

Intentó estudiar música en el conservatorio de su ciudad pero fue expulsado por tener "oído mediocre", según sus profesores.

En 1930, Fred Astaire lo contrató para actuar en el musical Smiles.

En 1939, debutó en la música clásica con su armónica en la Sinfónica de Sídney.

Fue represaliado por ser simpatizante de la izquierda, por lo que se exilió en el Reino Unido (1949), donde consiguió gran popularidad.