Con 20 años, Mercer empezó a relacionarse con otros compositores de canciones, aprendiendo el negocio.
A su vuelta, consiguió un trabajo como letrista para Miller Music por 25 dólares semanales, lo cual le dio seguridad suficiente para casarse con Ginger Meehan en 1931.
Mercer después participó con Yip Harburg en la partitura de Americana, una revista famosa por la canción "Brother, Can You Spare a Dime?"
Tras varias canciones no destacables, en su período con Whiteman escribió y cantó "Pardon My Southern Accent".
La fortuna de Mercer mejoró dramáticamente cuando se emparejó con Hoagy Carmichael, ya famoso por el tema "Stardust".
A lo largo de los años veinte y primeros treinta, las canciones se integraban en los espectáculos musicales sin apenas intervenir en el relato.
Su primer tema de éxito en Hollywood fue "I'm an Old Cowhand from the Rio Grande", escribiendo tanto la música como la letra.
En 1937 Mercer empezó a trabajar con Warner Brothers, colaborando con el veterano compositor Richard A. Whiting (Ain't We Got Fun?
Tras la súbita muerte de Whiting por un ataque cardiaco, Mercer trabajó con Harry Warren para crear "Jeepers Creepers", con la cual consiguió su primera nominación al Óscar a la mejor canción original.
La pareja también escribió "Hooray For Spinach", una canción cómica producida para la película Naughty But Nice en 1939.
En 1939 Mercer escribió la letra para una melodía de Ziggy Elman, un trompetista que tocaba con Benny Goodman.
Mercer fue invitado al programa radiofónico Camel Caravan en Nueva York para cantar sus éxitos y crear canciones satíricas con la orquesta de Benny Goodman, y convirtiéndose en el presentador de la emisión nacional del show durante varios meses.
Garland se casó con Rose y el affaire finalizó temporalmente, aunque la situación tuvo un profundo efecto emocional en las letras de Mercer.
Esta relación se reavivó más adelante, y Mercer afirmaba que su canción "I Remember You" era una expresión directa de sus sentimientos por Garland.
Su primer éxito fue "Blues in the Night" (1941), que Arthur Schwartz consideraba “probablemente la mejor canción de blues jamás escrita.”[16] El dúo compuso "One for My Baby (and One More for the Road)" (1941), "That Old Black Magic" (1942), y "Come Rain Or Come Shine" (1946), entre otros temas.
Con Jerome Kern Mercer creó You Were Never Lovelier para Fred Astaire y Rita Hayworth en la película del mismo nombre, así como "I'm Old Fashioned".
Mercer cofundó Capitol Records en Hollywood en 1942 con el productor Buddy DeSylva y con Glen Wallichs.
Las letras de "Laura", "Midnight Sun" y "Satin Doll" fueron todas ellas escritas una vez la música ya había sido un éxito.
También le pidieron escribir letras en inglés a canciones extranjeras, siendo el ejemplo más famoso "Hojas muertas", basada en la francesa "Les Feuilles Mortes".
Su continuada serie de éxitos llegaba a su fin, aunque todavía debía producir muchas grandes canciones.
[18] En 1974 grabó dos álbumes de sus canciones en Londres, con la Pete Moore Orchestra y con la Harry Roche Constellation, posteriormente compilados en un solo disco publicado como My Huckleberry Friend.
Finalmente, en 1975 Paul McCartney solicitó a Mercer una colaboración, pero el compositor estaba enfermo y diagnosticado de un tumor cerebral.