Su música, en sus inicios, estaba marcada por elementos psicodélicos, pero fueron introduciendo influencias de otros estilos, como blues y gospel, creando un sonido que algunos han relacionado con la banda Jon Spencer Blues Explosion.
El grupo se formó a finales de la década de 1980 en Newark, con Andy Duvall (batería), Marcus Durant (voz/armónica), Carl Horne (bajo), y Rich Millman (guitarra).
Sacaron su primer disco bajo el nombre Zen Guerrilla en 1992, grabado en Filadelfia con Compulsiv Records.
La continuidad de su gira y sus espectaculares y explosivos directos hicieron aumentar su popularidad, permitiéndoles fichar por Alternative Tentacles y más tarde por Sub Pop, famosa por ser la discográfica original de Nirvana.
Finalmente en 2003 el grupo se separó dejando tras de si seis álbumes y cuatro EP.