Evite One Thing es una banda de punk que comenzó como un proyecto paralelo del bajista de The Mighty Mighty Bosstones, Joe Gittleman . El primer álbum del grupo con sede en Boston , titulado Evite One Thing , fue lanzado en 2002 en Side One Dummy Records . El álbum fue escrito y grabado casi exclusivamente por Gittleman. Gittleman formó una banda con la que realizar giras y tocar su música. Antes del lanzamiento del próximo álbum de la banda en 2004, la banda pasó por varios cambios de formación. John Lynch se unió a la banda después de la muerte de Dave Karcich debido a un aneurisma cerebral repentino. Más tarde, Delano se fue y la banda continuó como un trío. El trío regresó al estudio y lanzó Chopstick Bridge el 4 de mayo de 2004. El álbum reflejó los esfuerzos combinados de los tres miembros de la banda y suena muy diferente al primero en muchos aspectos; Amy Griffin y Gittleman incluso dividieron las voces principales en algunas pistas. Después del lanzamiento de este álbum, la banda estuvo de gira hasta febrero de 2005 antes de hacer una pausa. Desde entonces, Griffin ha estado tocando la guitarra para Darkbuster y Gittleman se mudó a Los Ángeles y una vez más es miembro de los Bosstones reunidos. Paul Delano se sometió a una cirugía de emergencia en 2006 y se llevaron a cabo una serie de espectáculos benéficos. Desde entonces, John Lynch se unió a David Minehan y ahora toca la batería para The Neighborhoods.
The Bouncing Souls hizo una versión de la canción "Lean on Sheena" en su The Gold Record de 2006 .
La banda volvió a juntarse y lanzó un nuevo disco en septiembre de 2019 titulado Justo aquí donde me dejaste en Big Rig Records.