Como compositor, Oldham hizo equipo con Dan Penn para escribir canciones como «Cry Like a Baby», «The Box Tops», «I'm Your Puppet», «A Woman Left Lonely» y «It Tears Me Up».
Nacido en Center Star, Alabama, Oldham comenzó a tocar el piano en varios grupos durante sus años de escuela.
Estudió en la Universidad de Alabama del Norte, pero al poco tiempo comenzó a tocar en los FAME Studios.
En 1967, se trasladó a Memphis e hizo equipo con Penn en los Chips Moman American Studios.
Oldham se trasladó posteriormente a Los Ángeles y continuó siendo un músico de sesión muy solicitado, trabajando y grabando con una larga lista de artistas entre los que se incluyen Bob Dylan, Delaney Bramlett, Willy DeVille, Joe Cocker, Hacienda Brothers, Linda Ronstadt, Jackson Browne, Everly Brothers, Dickey Betts, Cat Power, J. J. Cale y Frank Black.