Se hizo famoso gracias al papel de mudo con una característica peluca naranja, una gabardina con los bolsillos siempre llenos y una bocina.Cuando su éxito le hizo poder pagarlos, se defraudó, porque parecían más interesados en aprender su método que en enseñarles el oficial.Según su hermano Groucho, recibió su nombre artístico, al igual que sus hermanos, durante una partida de póker en la que Art Fisher «rebautizó» a Groucho, Chico —originalmente Chicko—, Gummo y el propio Harpo, cuyo apodo le vino dado por la afición a tocar el arpa.Ningún investigador ha sido capaz de encontrar rastro alguno del tal Fisher.Llevaba una peluca rizada de color rubio rojizo y nunca hablaba durante las actuaciones (tocaba una bocina o silbaba para comunicarse).Tras innumerables trabajos y actuar como músico aficionado, ingresó al vodevil con sus hermanos.De esta manera formó parte de la Mesa Redonda del hotel Algonquin, donde se reunían los más brillantes autores, editores, críticos, artistas, compositores, etc. del mundo neoyorkino.Sus distracciones fueron fundamentalmente el golf y el croquet; de este último fue un fanático y consagrado jugador, que incluso pasó al salón de la fama del juego.
Groucho y Harpo —derecha— en 1902. Por aquel entonces ya se percibía el amor de Harpo por los animales.
