Nacido en Nueva York, trabajó junto a sus hermanos durante un breve período en el vodevil, pero finalmente dejó el mundo de la actuación al no ser una actividad de su agrado.
Esta decisión fue tomada antes de que los Hermanos Marx comenzasen a ser conocidos por sus películas.
Gummo fue el único de los hermanos que sirvió como soldado en la I Guerra Mundial.
Tras licenciarse, entró en el mundo de la moda y más tarde fundó junto a su hermano Zeppo Marx una agencia teatral.
Después de venderla, Gummo se convirtió en el representante de Groucho Marx y ayudó al resto de sus hermanos en la realización de su programa de televisión The Life of Riley.