"Over the Rainbow" fue votada como la canción número 1 del siglo XX por la RIAA y la NEA.
En 1929 compuso su primera canción conocida, "Get Happy" (con letra de Ted Koehler).
Arlen y Koehler compusieron los siguientes éxitos musicales durante los primeros años y la mitad de la década de 1930: "Between the Devil and the Deep Blue Sea", "I Love A Parade", "I've Got the World on a String", "I've Got A Right To Sing The Blues", "It's Only a Paper Moon", "Let's Fall in Love", "Ill Wind" y "Stormy Weather".
A mediados de la década de 1930, Arlen contrajo matrimonio, incrementando sus estancias en California y escribiendo películas musicales; fue durante este periodo cuando comenzó a trabajar con el letrista Yip Harburg.
En 1954, Arlen fue hospitalizado debido a una úlcera sangrante, recuperándose para trabajar en el musical de Truman Capote "House of Flowers".