Ellos, junto al cantante Spike Slawson, bajista de los Swingin' Utters, se han encargado de darle un aire más desenfadado a clásicos temas que han marcado a varias generaciones.

Al principio de su carrera, la banda aparecía en recopilatorios, hasta que en 1996 comenzaron a publicar varios singles titulados con el nombre o apellido del artista que versionaban (ejemplo "Billy", con temas de Billy Joel o "Denver" por John Denver).

Dos años después, los Gimmes saltan nuevamente a la palestra con Take a Break conteniendo canciones R&B de artistas como Boyz 2 Men, Lionel Ritchie, Stevie Wonder y Whitney Houston.

El álbum Ruin Jonny's Bar Mitzvah fue grabado enteramente en vivo en un Bar Mitzvah, donde ofrecieron al público un set variado, paseándose por canciones pop de los 60 a 80, donde bandas como REO Speedwagon, Styx, Blondie y The Beatles, sobresalieron, además de dos covers del tradicional canto hebreo "Hava Nagila", mezclado con temas de The Offspring ("Come Out and Play") y José Feliciano ("Feliz Navidad").

Baker reemplazó a Shiflett durante la gira 2005 de la banda mientras éste hacía lo mismo con Foo Fighters.