Ganador de 12 Premios Grammy,[1]​ durante sus más de treinta años en la casa discográfica Atlantic Records, fue junto con Tom Dowd y Jerry Wexler impulsor de lo que sería conocido como el «Atlantic Sound».

[2]​ Mardin fue productor de artistas como Aretha Franklin, los Bee Gees, Average White Band, Anita Baker, Bette Midler y Chaka Khan.

En 1963, Mardin comenzó a trabajar en Atlantic Records como ayudante de Nesuhi Ertegün,[3]​ hermano del cofundador de la casa discográfica, Ahmet Ertegün.

Tras trabajar durante varios años en las grabaciones de músicos de jazz como el Modern Jazz Quartet, su primer éxito como productor para Atlantic fue Good Lovin' de The Rascals, coproducido con Jerry Wexler y Tom Dowd.

Los tres tuvieron su siguiente éxito en 1967 con el álbum I never loved a man the way I love you, de Aretha Franklin.