Nacido en Inglaterra, su familia se trasladó al barrio de Brooklyn, Nueva York, siendo él joven, y criándose en esta ciudad.

Así, lideró una pequeña banda de jazz llamada los "Swanee Syncopaters" y, durante las actuaciones del grupo, Youngman a menudo contaba chistes al público.

Youngman tuvo éxito, iniciando a partir de ese momento una larga carrera como comediante en vivo.

Sus primeras actuaciones tuvieron lugar en clubs y en speakeasies, pero su gran oportunidad llegó cuando actuó en 1937 en el show radiofónico de Kate Smith.

En la década de 1940 Youngman intentó hacerse actor y trabajar en el cine, pero no tuvo éxito en Hollywood.

Por ello volvió a los nightclubs y trabajó firme con su número en vivo, haciendo hasta 200 actuaciones al año.