Comenzó su carrera profesional junto a Lewellyn Mathews tocando en la Exposición Universal del Estado de Nueva York en 1963.

A finales de los años 1970 publicó su primer disco en solitario, titulado Ya yo me curé, y poco después fundó su grupo la Fort Apache Band, que inicialmente incluyó a quince músicos, entre ellos su hermano Andy González, Kenny Kirkland, Sonny Fortune, Nicky Marrero, Milton Cardona, Papo Vázquez y Jorge Dalto.

Los primeros dos discos del grupo fueron grabados en directo en festivales de jazz europeos: The River is Deep en 1982 en Berlín y Obatalá, en 1988 en Zúrich.

A partir de este disco el grupo deja de tener 15 miembros y pasa a ser un sexteto formado por Larry Willis (piano), Andy González (bajo), Steve Berrios (batería) and Carter Jefferson (saxo) and Joe Ford (saxo).

Jerry González y su grupo continuaron en 1996 con el álbum Fire Dance grabado en vivo en el Blues Alley.

Fue una nueva aproximación a la fusión de jazz y flamenco, sin bajo, sin batería ni piano.

Los últimos discos de Jerry González han sido A primera vista (2002) —a dúo con Federico Lechner—, Music for Big Band (2006) y Avísale a mi contrario que aquí estoy yo (Cigala Music, 2010),[5]​ editado en Estados Unidos bajo el título Jerry González y el Comando de la clave (Sunnyside, 2011), nombre de su cuarteto en España, formado por los cubanos Alain Pérez (bajo), Javier Massó Caramelo (piano) y Kiki Ferrer (batería).

A lo largo de su carrera Jerry González ha colaborado con músicos como Jaco Pastorius, Eddie Palmieri, Tito Puente, McCoy Tyner, Chet Baker, Israel Cachao López, Woody Shaw, Dizzy Gillespie, Tony Williams, Larry Young, The Beach Boys, Freddie Hubbard, Orquesta Filarmónica de Brooklyn, Archie Shepp, Paco de Lucía, George Benson, Ray Barretto, Papo Vázquez, Bobby Paunetto, Chico O'Farill, Alfredo Chocolate Armenteros, Hilton Ruíz, Chico Freeman, Famoudou Don Moyé, José Chombo Silva, Rashied Ali, Paquito D'Rivera, Diego el Cigala, Andrés Calamaro, Enrique Morente y Steve Turre.