Durante su adolescencia en Chicago, Goldberg fue seguidor de Muddy Waters, Otis Rush y Howlin' Wolf.
Las canciones deGoldberg (varias de ellas coescritas con Gerry Goffin) han sido grabadas por músicos como Rod Stewart, Gladys Knight, Joe Cocker, Steve Miller, Bobby "Blue" Bland, Gram Parsons y B. J. Thomas.
Goldberg también ha producido álbumes para Percy Sledge incluidos Blue Night (con una nominación a los Grammy) y Shining Through the Rain.
En 1994, Goldberg y Saul Davis produjeron Blue Night de Percy Sledge, disco para el que contaron con la colaboración de Bobby Womack, Steve Cropper, Mick Taylor, Greg Leisz, Bob Glaub, Ed Greene, Mikael Rickfors, con canciones escritas por Rickfors, Gregg Sutton, Pat Robinson, Carla Olson, the Bee Gees, Quinton Claunch, Fats Domino y Otis Redding.
En 2012, Stephen Stills reclutó a Goldberg para su nueva banda, The Rides, junto al guitarrista Kenny Wayne Shepherd y el batería de sesión Chris Layton.