Tres años después, cuando terminó la guerra (en 1918), Harburg regresó a Nueva York, donde se casó y tuvo dos hijos y empezó a escribir versos ligeros para los periódicos locales.
En este punto, Ira Gershwin lo convenció en que debería comenzar a escribir letras de canciones.
Allí publicó su letra de Brother, can you spare a dime?
En Hollywood, Harburg trabajó con los compositores Harold Arlen, Lane Burton, Jerome Kern, Jule Styne y Duke Vernon.
En los años cuarenta escribió una serie de guiones para musicales con mensajes sociales, como la muy exitosa Bloomer Girl (acerca de la activista Amelia Bloomer) y sus espectáculo de Broadway más famosos, Finian's Rainbow (1947), que quizá fue el primer musical Broadway con un coro integrado por personas con distinto color de piel (en Estados Unidos existió el apartheid hasta 1965), donde cantaban el poema de Harburg «When the idle poor become the idle rich» (‘cuando el pobre ocioso se vuelve en el rico ocioso’).
En 2004, el Irish Repertory Theatre la presentó off-Broadway, protagonizada por Melissa Errico y Jonathan Freeman, con una muy buena acogida.
Aunque no pudo trabajar en Hollywood, sin embargo, Harburg siguió escribiendo comedias musicales de Broadway, entre las cuales estuvo Jamaica, protagonizada por Lena Horne.
Se informó incorrectamente que Yip Harburg murió en un accidente de tránsito.
Además, fue nominado a un Óscar a la mejor música original, junto con Arlen, por Cabin in the Sky (de 1943) y la mejor canción original por «Can’t help singing» (‘no puedo dejar de cantar’), que compartió con Jerome Kern en (1944).
El sello presenta una imagen tomada por la fotógrafa Barbara Bordnick en 1978, junto con un arco iris y la letra de «Over the rainbow».