Su auténtico nombre era Meshilem Meier Weisenfreund y nació en la localidad de Leópolis, que entonces pertenecía a Galitzia, una provincia autónoma del Imperio austrohúngaro (en la actualidad en Ucrania).

Ya en ese momento fue reconocido y descubierto por Maurice Schwartz, propietario del Yiddish Art Theater.

Tres años después, en 1929, fue contratado por la Fox y recibió su primera nominación a los Óscar como mejor actor, por su primera película El valiente, aunque no contento con los papeles que se le ofrecían decidió regresar a Broadway.

La Warner Bros reconoció su indudable talento y le ofrecieron un contrato a largo plazo.

Hasta el momento en el que decidió retirarse, Muni siguió actuando tanto en el cine como en el teatro, y fue tan valorado por su talento como criticado por sus excentricidades.