Hijo del guitarrista Bucky Pizzarelli, John empezó a cantar con su padre a los 20 años e hizo su grabación de debut en 1983 con I'm Hip -- Please Don't Tell My Father.

Como guitarrista, manifiesta influencias de Les Paul y Django Reinhardt.

En 1997 participó en la producción de Broadway Dream, un homenaje al compositor Johnny Mercer.

Apartándose por un momento del swing, Pizzarelli grabó Bossa Nova en 2004, cantando composiciones de Antonio Carlos Jobim como "The Girl from Ipanema" y "Aguas de Marco".

En 2005 presentó nuevos estándares en Knowing You y, respaldado por la Clayton-Hamilton Jazz Orchestra, le ha rendido homenaje a Sinatra en 2006 con Dear Mr.