Nacido en una familia de fuerte tradición musical (su padre cantaba ópera y su madre tocaba el piano), Jeff Berlin era considerado ya un niño prodigio cuando, a la edad de 14 años decidió abandonar el violín por el bajo eléctrico, motivado fundamentalmente por su admiración por Jack Bruce, bajista del trío Cream.
Sus trabajos con ambos lo introdujeron rápidamente en la escena neoyorquina, donde enseguida comenzó a colaborar como sideman con infinidad de artistas como Pat Martino, Gil Evans, Toots Thielemans, Al DiMeola, George Benson, Earl Klugh, Larry Coryell, Bob James, Dave Liebman, Herbie Mann, o Ray Barretto, entre otros.
Berlin grabaría sus primeros discos en solitario, y colaboraría con otros artistas como Frank Zappa antes de cambiar definitivamente su residencia a Florida, donde fundó su instituto Players School, y donde reside intermitentemente desde entonces.
En los últimos años Jeff Berlin ha grabado con Yes, John McLaughlin, Billy Cobham o el guitarrista japonés Kazumi Watanabe, entre una interminable lista de importantes artistas.
Actualmente Jeff Berlin realiza giras por los más importantes festivales y clubs de jazz del mundo con su propio grupo que incluye regularmente a otras figuras de relevancia mundial como Danny Gottlieb, Paul Wertico, Othello Molineaux, Randy Brecker o Richard Drexler.